Luna 5.6과 Luna 6으로 Terminal-Bench 2.1 100개 슬롯을 돌려봤는데, Luna 6 결과는 여전히 장난 수준임

그리고 2차 실행에 대한 더 자세한 분석은 이거야:

실행할 때마다 약간의 오차는 있지만, 전체적인 그림은 별로 안 바뀌더라. 솔직히 말해서 Luna 6는 여기서 Luna 5.6 옆에 두니까 그냥 개그 수준이야. 뭐가 문제인지도 모르겠고, 이게 모든 작업에서 모델 성능을 대변한다고 주장할 생각은 없어. 왜 이런 결과가 나왔는지 분석해 보려고 했는데, codex가 "컨테이너가 읽기 전용이거나 쓰기가 차단되어서 그렇다"고 하더라고. 근데 이건 틀린 말이야. codex 에이전트는 :read-only를 상속받는 프로필로 실행되고 승인 절차도 따로 안 거치거든. 애초에 그 제한은 호스트 파일 시스템에 걸린 거지, 별도의 Harbor 작업 컨테이너에 걸린 게 아니야. 에이전트는 그 컨테이너 안에서 파일을 수정해야 하는데, Luna 5.6은 문제없이 잘만 하는데 Luna 6는 못하는 거지.

내 추측으로는 Luna 6가 가끔 "읽기 전용"이라는 걸 보고는 아예 어디에도 쓸 수 없다고 지레짐작하는 것 같아. Luna 5.6은 그 차이를 이해하고 어떻게든 과제를 수행하려고 하거든. Coq 예제 하나에서는 Luna 6가 쓰기 시도조차 안 해보고 작업 공간이 읽기 전용이라고 하더라. 그때 나온 유일한 명령어 에러는 rg가 설치 안 됐다는 것뿐이었어. Luna 5.6은 파일을 작성해서 통과했는데, Luna 6도 나중에 테스트할 때는 파일을 작성하긴 하더라고. 그래서 모델이 잘못된 가정을 하고 있는 게 아닌가 싶은데, 이게 모든 실패한 과제를 설명한다고 증명할 수는 없네.

시간이랑 토큰 더 낭비하기 싫어서 TB 2.1 전체를 다 돌린 건 아니야. 작업 프롬프트나 모델 설정은 하나도 안 건드렸고, 둘 다 똑같은 하네스로 돌렸어.

설정에 대해 궁금한 거 있으면 편하게 물어봐. 근데 뭐, 몇 달 만에 처음으로 다른 업체로 갈아탈까 진지하게 고민 중이다.

개구리는 이미 다 삶아진 거냐?