드디어 해냈다: Qwen3.6-27B + 에이전트 검색으로 단일 3090에서 95.7% SimpleQA 달성
We are finally there: Qwen3.6-27B + agentic search; 95.7% SimpleQA on a single 3090, fully local
핵심 요약
단일 RTX 3090 환경에서 Qwen3.6-27B와 LDR을 활용해 로컬 환경에서 95.7%의 SimpleQA 정확도를 달성함.
- 로컬 에이전트 성능 — 단일 RTX 3090에서 Qwen3.6-27B 모델을 활용해 95.7%의 SimpleQA 정확도를 기록함.
- 기술적 구현 — Langgraph 에이전트 전략과 도구 호출을 통해 복잡한 검색 및 추론 작업을 수행함.
- 개인정보 보호 — 사용자 데이터 암호화 및 제로 텔레메트리 정책을 적용하여 보안성을 강화함.
- 오픈 소스 도구 — 학술적 소스 등급 평가 시스템을 포함한 MIT 라이선스 기반의 로컬 딥 리서치 도구임.
LDR 메인테이너입니다. r/LocalLLaMA 커뮤니티의 강력한 지원 덕분에 LDR이 여기까지 올 수 있었습니다. 로컬 LLM 연구의 주요 채널 중 하나에 다시 글을 올릴 준비가 되지 않았다고 생각해서 한동안 소식을 전하지 않았습니다.
하지만 LDR 커뮤니티가 드디어 다시 그 수준에 도달했다고 생각합니다. 이제 다시 소식을 전할 때가 된 것 같습니다.
Setup
- RTX 3090, 24GB
- Ollama backend (qwen3.6:27b)
- LDR's
langgraph_agentstrategy — LangChaincreate_agent()with tool-calling, parallel subtopic decomposition, up to 50 iterations - LLM grader: qwen3.6:27b self-graded (I have used opus to review examples and it generally only underestimates accuracy)
Benchmarks (fully local LLM with web search)
|Model|SimpleQA|xbench-DeepSearch|
|:-|:-|:-|
|Qwen3.6-27B|95.7% (287/300)|77.0% (77/100)|
|**Qwen3.5-9B**|91.2% (182/200)|59.0% (59/100)|
|gpt-oss-20B|85.4% (295/346)|–|
샘플 크기는 작지만, 벤치마크를 여러 번 다시 실행하지 않았고 다른 행들을 보면 이것이 단순히 우연이 아님을 알 수 있습니다. 전체 리더보드: https://huggingface.co/datasets/local-deep-research/ldr-benchmarks
Important framing — these are agent + search scores, not closed-book
하지만 이 결과는 Perplexity Deep Research(93.9%), tavily(93.3%) 등과 유사한 벤치마크 결과라는 점을 참고해 주세요. [Tavily는 LLM이 검색된 문서에서만 답변하도록 강제합니다(순수 검색 테스트). Perplexity Deep Research는 엔드투엔드 에이전트이며 그레이더나 샘플 크기를 공개하지 않습니다.]
결과가 90%만 되었더라도 이미 큰 성공이었을 것입니다.
또한 일상적인 질문에 대해 무작위로 쿼리를 날려본 결과, 이 수치들이 제 체감 성능과 일치한다는 것을 확인할 수 있었습니다.
Caveats:
- SimpleQA 오염 위험이 최신 베이스 모델에서 실재함
- LLM-judge 노이즈 + 샘플링 오류
- bench-DeepSearch는 중국어 기반이므로 중국 모델인 Qwen에 유리함
- 아직 BrowseComp / GAIA 수치는 없음 - 하지만 우리가 아직 이 벤치마크를 잘 수행한다고 생각하지 않음. 현재 상태를 검증하기 위해 몇 가지 벤치마크를 실행해 볼 예정임
