5개월 후: open-deepthink, 이제 완전한 지식 증류 모드 지원

안녕 r/LocalLLaMA 형들,

작년 9월쯤에 이 프로젝트(그땐 local-deepthink라고 불렀음) 올렸던 거 기억하는 형들 있을지 모르겠네. 핵심 아이디어는 뻔한 멀티 에이전트 구조에서 벗어나서, 좀 더 깊이 있는 무언가를 만들어보자는 거였어.

그때도 llama.cpp나 OpenRouter로 로컬에서 잘 돌아갔고, 진화된 네트워크를 내보내서 재사용하는 것도 가능했지. 근데 증류(distillation) 부분은 아직 다듬는 중이었거든.

이제 새로운 모드에서는 고정된 7계층 QNN 토폴로지를 실행하고 토큰 예산만 설정해주면 끝이야. 세션이 돌아가는 동안 에이전트들이 실시간으로 진화하는데, 성능 떨어지는 놈들은 갈아치우고 지식을 물려받으면서 협업의 깊이를 더해가는 방식이지. 작업이 끝나면 타겟 LLM에서 뽑아낼 수 있는 모든 지식의 발달 과정을 담은 깔끔한 JSON 데이터셋이 나와. 에포크마다, 에이전트의 하위 작업 추론, 돌연변이, 난이도 상승 과정까지 전부 다 기록되고, 진화 역사를 담은 topology_archive.json도 같이 생성돼. 예를 들어 Gemini가 알고 있는 신지학(theosophy) 관련 지식을 파인튜닝에 쓰고 싶다고 치자. 난 개인적으로 오컬트 쪽을 파는데, 구글 개발자들이 Gemini 학습시킬 때 신지학 관련 책을 죄다 때려 박았더라고. 그럼 Gemini가 신지학이랑 생물학 가설을 섞어서 답변하게 하려면 어떻게 해야 할까? 뭐, 이 증류 기법을 써보라고 조심스럽게 제안해본다. 폐쇄형 모델이 기가 막히게 잘하는 두 가지 주제가 있는데,

오늘 beta-0.0.3 버전 배포했어(버그 11개 잡았고, 테스트 195개 전부 통과, 이름도 공식적으로 open-deepthink로 바꿈). 에이전트별 모델 선택 기능이랑 로컬 안정성도 개선했으니까 써볼 형들은 아래 저장소 확인해봐.

https://github.com/iblameandrew/open-deepthink

API 비용 내면서 grok-heavy 쓰고 싶으면 이거 한번 써봐. 원하는 모델 골라서 에이전트 군단을 무제한으로(원하면 수백 개도 가능) 만들어서 디버깅할 때 써먹거나, 어려운 이론 같은 거 파고들 때 쓰면 돼. 오픈 코드로 해결 안 되는 문제 때문에 막혔다고? 시간 낭비하면서 코드 읽지 말고, 그냥 스택 트레이스 전체를 20~100개 에이전트로 구성된 open-deepthink 토폴로지에 던져버려. 100% 해결의 실마리를 찾을 거야. 주식 분석하고 싶은데 grok-heavy 16개 에이전트가 주는 70초 정도의 사고 시간이 부족하다고? OpenRouter 크레딧 50달러 정도 남았다고? 좋아. 그럼 open-deepthink 브레인스토밍 모드에서 10x10(에이전트 100개) 토폴로지 띄우고 40 에포크(60시간) 동안 문제에 대해 고민하게 만들어봐. 솔직히 말해서, 결과물은 엄청나게 비싸고 과하게 조리된 짬통이 나오겠지만, 적어도 그건 '네가 만든' 짬통일 거야. 그리고 작업이 끝날 때쯤이면, 너는 이게

다들 건승해,
Andrew