모델들을 분류해 줄 '분류 모자(Sorting Hat)'를 만들고 있습니다
I'm building a "Sorting Hat" for my models
핵심 요약
프로젝트에 최적화된 AI 모델을 찾기 위해 성능 테스트 도구를 개발 중이며, 최상위 모델 간의 미세한 성능 차이를 구분할 방법을 고민하고 있습니다.
- 성능 테스트 도구 — 프로젝트 내 버그 수정 및 문서 이해도를 기준으로 모델별 강점 분석 중
- 최상위 모델 한계 — Sol, Astra, Opus, Fable 등 최상위 모델 간의 성능 차이를 구분하기 어려움
- 평가 방법론 — 정답이 없는 코드 품질이나 모델의 의존도를 측정할 새로운 지표가 필요함
- 오픈 소스화 계획 — 누구나 자신의 프로젝트에 맞춰 모델을 추천받을 수 있는 도구로 발전시킬 예정
8개월째 대규모 프로젝트를 진행 중인데, 앞으로도 1~2년은 더 걸릴 것 같아. 항상 스스로 두 가지 질문을 던지게 되더라고. 이 작업에 어떤 모델이 제일 나을지, 그리고 어느 정도의 노력을 쏟아부어야 할지 말이야.
그래서 간단한 테스트 UI를 만들어서 Claude랑 Codex를 둘 다 연결해 봤어. 지금까지 내가 테스트한 항목은 이거야:
버그 찾기: 내 프로젝트 히스토리에 있던 실제 버그들을 기반으로 한 질문들
문서 읽기: 모델이 긴 문서를 얼마나 정확하게 읽고 기억하는지 확인하는 꽤 괜찮은 방법
앞으로 더 다양한 작업들을 테스트해보고 싶고, 결과도 최대한 정확하게 뽑아내고 싶거든.
근데 문제가 좀 있어. 작은 모델들은 구분이 쉬워. Haiku, Luna, Terra, Sonnet은 각자 확실한 장단점이 보이거든. 근데 최상위 모델들은 전부 다 한계치에 도달한 느낌이야. Sol 대 Astra, Opus 대 Fable을 비교해보면 내가 뭘 던져줘도 점수가 거의 똑같아서 차이점을 도저히 모르겠어.
Sol 6.1이랑 Opus 5.5가 Astra 6, Fable 5.1만큼이나 좋아진 시점일 수도 있겠지. 그래도 실제 격차가 어디에 있는지 확실히 알고 싶어.
다들한테 물어볼게:
최상위 모델들의 실력을 가를 만한 작업은 어떤 게 있을까? (긴 다단계 작업, 모호한 스펙, 대규모 코드베이스, 스스로 실수 잡아내기 같은 거?)
코드 품질이나 판단력, 혹은 모델이 얼마나 손이 많이 가는지처럼 단순히 맞고 틀리고로 나눌 수 없는 것들은 어떻게 점수를 매겨?
노력 수준(effort level)을 높이는 게 실제로 도움이 되는지, 아니면 어느 시점부터는 비용 대비 효율이 떨어지는지 측정해본 사람 있어?
장기적으로는 이걸 플러그 앤 플레이 방식으로 만들어서, 누구든 '분류 모자(Sorting Hat)'를 자기 프로젝트에 갖다 대면 실제 작업 내용을 바탕으로 모델을 추천받을 수 있게 하고 싶어. 좋은 아이디어 있으면 뭐든 환영이야.
아, 맞다. 이 글은 Claude한테 다시 써달라고 했어. 처음에 내가 의식의 흐름대로 쓴 건 질문 의도가 제대로 전달이 안 되더라고.
