qvac/BotPsy-0.8B · Hugging Face - 10억 파라미터 미만의 에이전트형 언어 모델을 탑재한 온디바이스 개인 비서

BotPsy-0.8B는 Qwen3.5-0.8B를 기반으로 만든 0.8B 파라미터 모델로, 함수 호출(function calling)과 에이전트 워크플로우에 특화되어 있고 온디바이스 환경에서 돌리기 딱 좋다. BotPsy는 웹 검색 및 리서치, 여행 및 라이프스타일, 커머스 및 금융, 비즈니스 및 고객 응대, 기기 및 차량 제어, 파일 및 문서 관리, 캘린더, 이메일 및 메시징 같은 분야에서 사용자를 대신해 여러 간단한 작업을 수행하는 '개인 비서'라고 보면 된다. 파라미터가 작아서 난이도가 낮거나 중간 정도인 작업에 최적화되어 있다. BotPsy는 이 체급에서 압도적인 툴 사용 능력과 에이전트 성능을 보여주는데, 우리가 테스트한 1.2B 이하 모델 중에서는 그냥 다 발라버리는 수준이다. 물론 모델이 작다 보니 실수를 할 때도 있어서, 너무 어려운 작업보다는 적당한 수준의 작업에 쓰는 게 정신 건강에 좋다.

주요 특징

https://huggingface.co/qvac/BotPsy-0.8B#benchmark-resultsBenchmark 결과

• 기본 모델 대비 성능 2배: BotPsy는 주요 벤치마크에서 Qwen3.5-0.8B-Think의 에이전트 능력을 거의 2배 가까이 끌어올렸다. BFCL v4는 23.4에서 44.0으로, ACEBench는 30.1에서 58.7로, τ-bench는 23.2에서 51.5(리테일, 통신, 금융 서브셋 평균)로 떡상했다.

• 체급 내 최강 에이전트: BotPsy는 1.2B 이하 파라미터급 모델들(Qwen3.5-0.8B-Think, LFM2.5-1.2B-Think, MiniCPM5-1B-Think) 중에서 BFCL v4, ACEBench, τ-bench, ToolSandbox, Claw-Eval, BrowseComp-Plus 등 6개 툴 사용 및 에이전트 벤치마크 전부에서 1등 먹었다.

• 덩치 큰 형님도 이김: BotPsy는 테스트한 6개 벤치마크 중 5개에서 1등을 찍었다. 심지어 2.5배나 더 큰 Qwen3.5-2B-Think보다 BFCL v4(44.0 vs 37.7), ACEBench(58.7 vs 55.4), τ-bench(51.5 vs 46.5), ToolSandbox(64.6 vs 41.2), BrowseComp-Plus(4.5 vs 2.8)에서 더 높은 점수를 받았다. 딱 Claw-Eval에서만 Qwen3.5-2B-Think가 이겼다(48.9 vs 46.5).

https://huggingface.co/qvac/BotPsy-0.8B#model-capabilitiesModel 능력

• 멀티턴 워크플로우에서 더 안정적: 에이전트가 긴 고객 상담을 유지하면서 엄격한 정책을 따르고 고객을 대신해 행동해야 하는 τ²-bench에서, 통신 분야 82.5점을 기록해 Qwen3.5-2B-Think(69.3)를 가볍게 제쳤다. BFCL v4의 멀티턴 작업에서도 기본 모델 대비 7.5에서 46.1로 급상승했는데, 이건 Qwen3.5-2B-Think(23.8)의 거의 2배 수준이다. 애플리케이션별로 봐도 커머스 및 서비스(58.3 vs 2등인 Qwen3.5-2B-Think 47.4)와 기기 및 시스템 관리(46.1 vs 31.9)에서 테스트한 모든 모델 중 1등이다.