Recursive Flint - 우리가 기다려온 "Qwen3.8 35B"인가?

오늘 벤치마크 돌려봤는데. orinth-1.5-35b보다 못하고 Qwen 27b보다는 훨씬 별로임. 벤치마크가 좀 이상한 거 같음. 단일 입출력 프롬프트에서는 꽤 괜찮은데, 에이전트 작업에서는 무너짐. 내가 준 도구보다는 학습된 도구를 억지로 쓰려는 경향이 있음.

맞음, 나도 같은 생각임. 'Recursive'라는 이름값을 제대로 하더라... 루프 돌고 과하게 생각하는 경향이 있고, 솔직히 프롬프트 해석 능력도 좀 떨어짐.

근데 터미널 벤치마크는 멀티 턴 방식이고 2b 활성 파라미터치고는 점수가 꽤 괜찮은 편임.

비슷한 결과를 얻었는데, 아직 뭐라고 결론 내리긴 좀 이름. 사양 읽으라고 시켰을 때 find /부터 하던데, 이건 내가 기억하기로 Cyber-Tiel 35b는 절대 안 하던 짓임. 모든 프로젝트 파일이 암묵적으로 CWD에 있으니까. 그래도 일단 파일을 찾고 나면 초기 분석은 내가 쓰던 35b나 작은 Swift-Qwen3.8-27b 퀀트 모델보다 나았음. 근데 그 뒤로 쉽게 혼란스러워하는 것 같긴 함. Qwen 기반 모델들이 놓치는 걸 잡아내기 위해 일단은 계속 써볼 생각임.

이거 써볼 생각에 벌써 신남, 내 b70에서 잘 돌아갈 듯.