LLM을 위한 Jev 기반 적응형 사고(Adaptive Thinking)

UI가 눈길을 끄네요, 잘 만드셨어요.

근데 이게 정확히 어떤 문제를 해결하는 건지 좀 헷갈리네요.

예를 들어 제 로컬 qwen3.8 w/hermes 모델은 이미 추론 레벨을 지정하고 그에 영향을 받는 메모리를 구축할 수 있거든요.

추론 레벨은 모델이 얼마나 추론할지를 바꾸고 각 단계에서 생각하게 만들 수는 있지만... "흠... 여기서 다음 토큰을 생성하는데, 좀 헷갈리니까 다시 생각해보자"라고 말하진 않죠. 이게 바로 적응형 사고의 아이디어입니다. 게다가 최적의 경로를 선택하는 다중 스트림 방식도 추가되죠.

좋게 봐주셔서 감사합니다. 이건 시연용이고, 이 경우에는 완전한 도구 모음이 아닌 순수 LLM이지만, 어쩌면 이런 아이디어가 추론 방식으로 구현될 수도 있겠죠.

아, 제가 글을 잘못 이해했네요. 다른 종류의 빔 서치를 하시는 줄 알았어요:

• 단일 사고 과정을 시작하되, 토큰이 너무 불확실하거나 Jev 같은 결정이 필요할 때 새로운 빔으로 분기함

• 빔이 5개가 되면, 하나를 제거해야 할 때 Jev가 무엇을 제거할지 결정함

• 어느 시점에서 Jev가 어떤 빔이 승리할지 결정함

당신의 빔 방식도 재밌네요! 유용할지는 의문이지만, 뭐 재미가 우선이니까요!

Jev를 사용해서 사고 루프를 줄이는 다른 사례를 방금 들었는데, 정말 흥미로운 적용이네요. 그들은 기본적으로 "이걸 진짜 두세 번 더 확인해야 할까, 아니면 짧게 끝낼 수 있을까?"라는 스타일의 프롬프트를 Jev에 적용해서, 모델이 더 간결하게 생각하도록 유도하는 문장을 사고 과정에 삽입했다고 하네요. DS 1017처럼 학습 과정에서 파인튜닝이나 사고 페널티를 주는 게 아마 더 낫겠지만, 작은 모델이 큰 모델한테 입 닥치라고 시키는 건 확실히 웃기긴 하네요.

그렇게 미친 생각은 아닐지도 몰라요. 작은 특화 모델들은 에이전트 내부에서 항상 협력하고 있거든요. 대부분은 LLM이 필요 없는 단순한 즉각적 결정을 위해 분류기를 호출하는 정도지만요. 하지만 자기 자신(모델이나 에이전트)에 대한 빠른 사고도 유용할 수 있죠. 우리 뇌도 아마 하위 수준의 사고가 상위 수준의 사고를 항상 조종하고 있을걸요.