GPT 6.1 Sol이 여전히 5.6 Sol보다 못한 것 같음.

내 커스텀 하네스는 5.6으로 설정돼 있음(혹시 몰라서 6.1 Sol을 추가하긴 했는데 안 씀). Astra만 서브 에이전트로 쓰고. 6은 절대 내 코드베이스에 못 건드리게 하고, 6.1 Sol이랑 Astra는 5.6이 꼼꼼하게 감시해야 함.

솔직히 말해서 5.5 이후로 개선된 걸 하나도 못 느낌. 5.6 Sol은 아예 체감이 안 됐고. 6.1-Sol은 5.6-Sol보다 더 구린 느낌임(나만 그런 게 아닌가 봄). 6-Astra도 전혀 인상적이지 않고, 당연히 잘해야 할 것들을 자주 망침. ChatGPT 모델들은 '근시안적'인 것 같음. 무슨 말인지 알지? 제대로 된 방향으로 가기 위해 전체를 조망하거나 재평가하는 법이 없음. 명시적으로 요구하지 않으면 재평가도 안 하고, 심지어 그때도 기능적 고착 상태에 빠져서 이미 어떤 방식으로 구현됐으면 그게 영원히 정답인 줄 앎. 그 뒤에 발생하는 오류들은 근본적인 해결 대신 땜질로만 고치려 함.

더 짜증 나는 건 Astra한테 이런 행동을 지적하거나 살짝 수정해달라고 하면, 아주 짧게 사과하고 대화를 끝내버림. 대화 능력도 끔찍함. OpenAI가 GPT-4 이후로 대화를 덜 어색하게 만드는 걸 우선순위에 두지 않은 것 같음. 벽보고 얘기하는 기분임(실제로 벽이긴 하지만, 그렇게 느껴지면 안 되잖아). 브레인스토밍이나 조사할 때 대화 품질은 매우 중요한데.

그래도 ChatGPT가 다른 LLM 회사 모델들보다는 여전히 웃김. 어떻게 대화하기 이상하게 만들어놓고도 제일 웃기게 만들었는지 모르겠음.

어쨌든, 이런 불평을 하는 게 벌집을 쑤시는 걸 수도 있지만, 솔직히 모든 GPT 모델이 쓰기 너무 끔찍함. 그냥 5.5보다 비싸고... 더 구리다고 말하고 싶음. 5.5 쓸 때는 이렇게 쓰레기 코드를 많이 뜯어고칠 필요가 없었으니까.

가끔 잘할 때도 있음. 근데 또 가끔은 엄청나게 작업해놓고는 진전도 없이 다 끝났다고 결론 내리기도 함.

진짜 개판이라 최소 한 달은 Claude Code로 갈아탔음.

Sol 6.1은 지난 3일 동안 망치기만 했음. 진짜 미친 수준임.

나한테는 이 문제가 딱 한 프로젝트에서만 보임... 혼자서 사양을 다시 쓰는 수준으로 심각하게 망쳐놓고 설정된 규칙도 안 지킴. 다른 프로젝트에선 완벽하게 잘 돌아감(물론 에이전트 MD 삭제하고 다 해봤는데, 그냥 이 프로젝트에선 똥을 싸서 Astra로 다 해결해야 함...)

전반적으로: 이제 Terra가 Sol보다 전반적으로 더 나은 결과를 냄. 물론 Terra가 계획 기능을 써도 너무 일찍 멈춰버린다는 사실은 제외하고.

프롬프트 보여줘 봐. 네가 문제인지 아닌지 알려줄게.

6.1 Sol 사용감이 최악이 됐음.

맞음, 5.6이 더 우월함. 벤치마크 점수 따위는 신경 안 씀.