Claude Fable 5와 Opus 4.8을 917개의 코딩 에이전트 시나리오로 테스트함. Fable이 0.9점 차이로 승리.

흥미롭네. 사실 이 벤치마크에서 예상했던 결과랑 꽤 일치함.

우리 평가는 일상적인 스킬 기반 에이전트 작업을 측정하는 거지, 깊은 리버스 엔지니어링이나 장기적인 조사 작업을 측정하는 게 아님. Fable이 전체적으로 1점 정도 앞섰지만, 그렇다고 해서 특정 카테고리에서 더 뛰어난 능력이 드러나지 않는다는 뜻은 아님.

리버스 엔지니어링은 작은 평균적 우위가 어려운 문제 해결에서 눈에 띄는 진전으로 이어질 수 있는 분야 같음.

그건 그렇고, 혹시...

모놀리식 bin 파일에서 중첩된 구조체랑 데이터 타입을 디코딩하려고 했었음. 데이터가 참조하는 리소스 문자열 몇 개를 제외하면 참고할 게 거의 없었지. 그래서 안으로 파고들어서 비트팩을 분석하고 파이썬으로 하나씩 잘라내는 계획을 세우더라고. 더 긴 컨텍스트 윈도우가 도움이 됐을 수도 있겠지만, Opus도 100만 토큰인데 메모리에 올린 전체 세그먼트조차 처리하기 힘들어했음. Fable은 명확한 시작과 끝을 볼 수 있었고...

정말 유용한 데이터 포인트네.

대부분 문서화되지 않은 바이너리 형식에서 비트 마커, 경계, 구조를 식별했다는 건 컨텍스트 윈도우의 이점이라기보다는 추론 능력의 이점인 것 같음. Opus가 하던 작업을 이어받아 막히지 않고 더 밀고 나갔다는 점도 흥미롭고.

내 경우엔 순수하게 교육용/취미용으로 하는 거라, 굳이 그럴 필요는 없을 듯. 데이터 문제는 내가 직접 해결하거나 다른 우회 방법을 찾을 수 있었으니까. '와, 제대로 해냈다' 하는 쾌감은 있긴 한데, 이 가격에 Fable을 써서 해결할 가치가 있었나 하면 글쎄. 그냥 구독 리셋이랑 이번 주 중반에 max 5 구독이 끝나서 써본 거임. 어차피 리셋 전까진 재구독 안 할 생각이라 플랜 끝나기 전에 쿼터 빨리 소진하려고 막 쓴 거지.

ㅇㅇ 나도 동감. 이것저것 막 써보면서 모델 경험해보는 것만으로도 가치는 있다고 봄. 둘 사이에 차이가 꽤 큰데, 그 차이가 항상 CCUIC를 태울 만큼 가치가 있는 건 아님 🔥