Obsessive-1.7B: 1.1GB 용량의 웹 검색 서브에이전트
Obsessive-1.7B: a 1.1 GB web-search subagent
핵심 요약
웹 검색 결과를 인용하여 사실 여부를 확인하고, 답변이 없으면 '찾을 수 없음'을 반환하는 1.7B 경량화 모델입니다.
- 경량 모델 설계 — 1.1GB 용량으로 VRAM 점유를 최소화하여 메인 모델과 함께 구동 가능함
- 엄격한 인용 검증 — 검색 결과에서 단어 단위로 일치하는 인용문이 있을 때만 답변하여 환각 현상을 방지함
- 서브에이전트 최적화 — 단일 질문에 특화되어 있으며 메인 모델의 보조 도구로 활용하도록 설계됨
- 성능 개선 제안 — 다중 쿼리 재작성 및 병렬 처리를 통해 검색 정확도를 높이는 방향이 논의됨
LFM3-1.7B를 딱 한 가지 작업만 하도록 파인튜닝했음. 사실 관계를 묻는 질문을 받으면 web_search를 딱 한 번 호출하고, 짧은 답변과 그대로 따온 인용구, 그리고 URL을 뱉어내는 식임. 검색 결과에 답이 없으면 "Not found in the search results."라고 말함. 챗봇용이 아니라 더 큰 모델 밑에서 서브 에이전트로 돌아가게 만든 거임. 베이스 모델인 lfm이 툴 콜을 수행하고 정보를 추출하는 능력이 생각보다 너무 좋아서 놀랐음.
Answer: Barbara Liskov
Evidence: "Liskov ... the second woman to receive the Turing Award."
Source: https://en.wikipedia.org/wiki/Barbara\_Liskov
고정 결과 벤치마크 (131개의 SimpleQA 질문 중 테스트용으로 따로 뺀 것들; 그중 29개는 결과에서 답을 제거함):
| base | Obsessive |
|---|---|
| Finds the answer when it’s there | 50% |
| Says “not found” when it isn’t | 0% |
| Invented answers | 10% |
| Median sec/question (4060 laptop) | 5.1 |
실시간 위키피디아 검색 (120개 질문 + 40개 다중 사실 확인 요청, 학습 데이터에 없던 검색 백엔드 사용):
| base | Obsessive |
|---|---|
| Returns any reply | 38% |
| Correct answer in reply | 37/120 |
| Multi-fact requests answered | 1/40 |
| Invented fact values | 4 of 4 |
베이스 모델은 실시간 정답률은 더 높음. 계속 검색하면서 긴 답변을 늘어놓으니까 답이 나올 확률이 높긴 한데, 62% 확률로 턴 제한에 걸려서 아무것도 못 내뱉음. Obsessive는 딱 한 번만 검색하고 인용 가능한 내용만 딱 말함. 이 트레이드오프가 본인 환경에 맞을지는 알아서 판단하셈.
알려진 문제점
-
대화당 질문 하나만 가능. 멀티턴 대화는 모델이 헷갈려함 (단일 질문으로만 학습했고, 학습용 VRAM이 부족해서 :/ ).
-
주장도 사실인 것처럼 말함: "X가 Y를 해결했다고 주장함"을 "예"라고 받아칠 수 있음.
-
검색 결과에 답이 있는데도 10번 중 1번 꼴로 "not found"라고 함.
