OpenAI의 최근 3개월간의 주요 성과는 에이전트 스웜을 활용한 테스트 타임 컴퓨팅 확장 덕분입니다. 저는 지난 1년간 오픈소스 버전을 개발해 왔는데, 여러분이 직접 사용해 보셨으면 좋겠습니다.
OpenAI's major results over the last 3 months came from scaling test-time compute with agent swarms. I've been building an open-source equivalent for the past year, and I'd love for you guys to try it.
핵심 요약
테스트 타임 컴퓨팅을 확장하여 LLM 성능을 비약적으로 높이는 오픈소스 프로젝트 'Deepthink'가 공개되었습니다.
- 테스트 타임 확장 — 에이전트 스웜을 활용해 복잡한 문제를 해결하는 컴퓨팅 방식임
- 성능 향상 — Gemma4-35B와 Qwen-27B 모델에서 수학 및 코딩 벤치마크 점수를 대폭 개선함
- 작동 원리 — 독립적인 브랜치 생성, 에이전트 간 협업, 모듈 기반의 문제 해결 및 검증 과정을 거침
- 범용성 지원 — 로컬 모델 및 llama.cpp와 호환되며 다양한 엔드포인트 URL을 지원함

꽤 오랫동안 테스트 타임 스케일링(test-time scaling) 쪽을 파고 있었음. 예전에 이 서브레딧에 관련 작업물 올린 적도 있고 https://www.reddit.com/r/LocalLLaMA/comments/1u47cvc/i_scaled_testtime_compute_for_qwen3627b_and/. 최근에 핵심 시스템 설계를 엄청나게 단순화했는데, 이제야 비로소 누구나 이해하고 어려운 문제에 바로 써먹을 수 있겠다 싶더라. 아, 참고로 설정한 깊이랑 LLM 추론 속도에 따라 결과 나오는 데 50분에서 30시간까지 걸릴 수 있음.
벤치마크는 프론티어 모델이나 큰 오픈 모델로 돌리기엔 비용이 너무 많이 들어서 테스트 못 해봤음. 그냥 Gemma4-35B랑 Qwen-3.8-27B로만 돌려봤는데, 문제당 토큰을 2억 개 정도씩 썼거든. 그랬더니 BrokenArxiv (Matharena) 15문제에서 점수가 14%에서 65%로, DeepSWE 8문제에서는 9%에서 52%까지 오르더라. 솔직히 말도 안 되는 수치인 거 아는데, 직접 해보면 뭔 말인지 알 거임.


