나만 그렇게 느끼나? Opus 5.5가 Fable 5.1보다 코딩을 더 잘하는 것 같은데

Fable 5.1은 간단한 아이디어 구상 이상으로 쓰기엔 너무 짜증 나. 규칙을 여러 번 반복해서 말해도 안 지키고, 코드가 기본 검수도 안 된 상태인데도 무조건 '완료'라고 선언해 버리거든.

그래서 뒷수습은 Opus를 불러서 하고 있어. 이제는 Fable을 메인 에이전트가 아니라, Opus가 아이디어 구상이나 검토를 위해 호출하는 보조 에이전트로만 쓰고 있지.

메인 에이전트로 꽤 쓸만했던 이전 버전인 Fable 5.0에 비하면 좀 실망스러워.

음, Fable은 5.1 버전이잖아. Opus 5.5는 전반적으로 다 훌륭해.

내 생각엔, 예전엔 연구소들이 거대 모델을 학습시킨 뒤 여러 수준으로 양자화해서 모델 종류를 나누는 줄 알았거든. 근데 이제 보니 그냥 학습 데이터셋이랑 파라미터 규모를 다르게 해서 여러 모델을 따로 학습시키고, 비용 대비 성능 균형을 맞추기 위해 배포할 때 양자화를 하는 것 같아. 별개로, A/B 테스트를 하면서 비슷한 파라미터 규모로 학습된 모델들을 계속 바꿔치기하는 것 같기도 하고. 사람들이 모델마다 성능 차이가 엄청나다고 말하는 이유가 바로 이거라고 봐. 더 비싼 모델이나 덜 양자화된 모델, 혹은 그냥 다른 모델을 배정받았을 수도 있으니까.

자기네 모델을 직접 증류(distill)하는 것 같아. 그러면 훨씬 저렴하면서도 비슷한 성능을 낼 수 있으니까 말이 되거든. 학습 방식의 차이도 설명이 되고.

Opus 5.5가 더 최신 모델이니까.