수년간의 구독 끝에, 이제는 Haiku가 내 테스트에서 Sol 6.1보다 더 나은 성능을 보여줌

나 GPT-3.5 시절부터 Codex 써온 고인물임. GPT-4, 5, 5.1, 5.2 다 써봤고, 항상 200~100달러짜리 구독 유지해왔음.

Astra는 나한테 진짜 개쩌는 모델이었는데, 요즘은 처음 나왔을 때랑 느낌이 너무 다름. 그래서 Sol 6.1로 갈아탔는데, 주로 Low/Medium 모드 쓰고 가끔 High/XHigh도 돌려봄.

거의 안 해본 게 없음. 내 커스텀 하니스(harness), 다른 커스텀 하니스, Patpock 스킬, Ponytail, 별별 설정 다 건드려봄... Pi 에이전트, OpenCode, Codex 자체 환경에서도 다 테스트해봤다. 이거 테스트하느라 시간 얼마나 쏟아부었는지 감도 안 잡힘.

그래서 이번 월요일에 앤스로픽(Anthropic)에서 제일 싼 클로드 구독을 한번 써보기로 함.

근데 진짜 말하기 쪽팔리지만, 내 테스트 결과로는 Haiku 5.5 high가 Sol 6.1 Low보다 훨씬 잘함.

똑같은 프롬프트랑 작업으로 여러 번 비교해봤거든.

예를 들어, Sol 6.1 Low는 내 하니스에다가 '절대 그러지 마라'고 명시해놨는데도 자꾸 과하게 설계를 함. 쓸데없는 함수 만들어대고, 프로젝트 컨벤션 다 씹고, 가끔은 AGENTS.md 파일도 완전히 무시해버림.

구체적인 예 하나 들자면: 내 AGENTS.md에는 Microsoft C++ Build Tools v145랑 ISO C++14를 쓰라고 딱 박아놨음. 근데 Sol 이 새끼는 지 맘대로 C++20을 쓰더라. 왜? 진짜 이유를 모르겠음.

뭐가 문제인지 파악하려고 컨텍스트도 확인하고, 외부 툴 써서 런타임 토큰 사용량도 모니터링하고, OpenCode 기본 하니스랑 커스텀 설정까지 다 돌려봤음.

결과는 똑같음.

적어도 내가 테스트해본 바로는, Sol 6.1 Low는 지금 솔직히 개실망임.

반면에 Haiku 5.5랑 Sonnet 5.5는 내가 던져주는 거 거의 다 원샷으로 끝냄. 똑같은 작업, 똑같은 프롬프트인데 손댈 일이 훨씬 적음.

그게 제일 빡치는 부분임.

OpenAI가 Codex를 어떤 방향으로 끌고 가려는지 참... 갑자기 초기화되는 거, 할당량 줄어든 거, 그리고 이제는 모델 성능까지 체감될 정도로 달라진 거 보면 진짜 한숨만 나옴.

뒤에서 뭔 일이 일어나는지 뇌피셜 돌리고 싶진 않음. 모델 이름은 그대로 Sol 6.1, Astra인데, 생각하는 깊이가 뭔가 달라진 느낌임.

Sol 6.1 처음 나왔을 땐 이런 작업들 평균 대기 시간이 5~25분 정도였음. 지금은 3~10분 정도로 줄었는데, 결과물 퀄리티는 눈에 띄게 떨어짐.

물론 더 빠르다고 무조건 나쁜 건 아니고, 내부적으로 뭐가 바뀌었는지 증명할 방법은 없음. 그냥 내가 꾸준히 겪은 경험을 공유하는 거임.

이제 더 할 말도 없다. 그냥 내 경험을 공유하고 싶었을 뿐임.

그냥 불평하려고 글 쓰는 거 아님. 이 글 쓰기 전에 진짜 말도 안 될 정도로 시간 쏟아서 테스트해봤음.

지금 나한테 가장 큰 차이는 이거임: Codex는 얘가 짠 코드를 내가 다시 다 확인해야 함. 반면에 앤스로픽 모델들은 첫 시도부터 훨씬 믿음직하고, 내가 검토하거나 수정할 코드가 훨씬 적음.

매달 200~100달러씩 내면서 몇 년 동안 Codex 써온 사람 입장에선, 진짜 실망스럽다.