Sol이 미쳐가고 있는 건가요?
Is sol going insane?
핵심 요약
최근 업데이트된 Sol 6.1 모델이 과도한 엔지니어링과 잦은 오류로 인해 사용자들의 불만이 폭주하고 있습니다.
- 모델 성능 저하 — 간단한 작업도 과도하게 복잡하게 처리하며 지시 사항을 제대로 따르지 않음
- 과도한 엔지니어링 — 모든 작업을 NASA 수준의 보안이 필요한 것처럼 처리하여 불필요한 코드 비대화 발생
- 성능 일관성 문제 — 업데이트마다 성능이 널뛰거나 특정 사용자 그룹에만 낮은 성능의 모델이 할당되는 의혹 제기
- 대안 모색 — 많은 사용자가 Claude 등 다른 모델로 전환하거나 프롬프트 엔지니어링으로 대응 중
그동안 올라오는 불만들 보면서 반신반의했는데, 지난 2주 동안 codex (sol 6.1) 때문에 진짜 돌아버릴 것 같다. 사례는 널리고 널렸는데, 오늘 겪은 것만 딱 두 개만 풀어봄.
-
브랜치 바꾸고 머지하다가 문제 터진 적 있어서, cherry-pick 하고 안전한지 테스트해달라고 했거든. 근데 특정 폴더에서 충돌이 나더라고. 그래서 "그 폴더는 그냥 해당 커밋 버전으로 덮어써, 로컬 변경 사항은 신경 안 써도 돼"라고 했지. 근데 이 새끼가 뭘 했는지 알아? 그냥 그 폴더 변경 사항만 쏙 가져와서 적용해버림. 그래서 "cherry-pick은 어떻게 된 거야?"라고 물으니까 "아 죄송요, 그 폴더만 로컬에 적용하고 싶은 줄 알았음" 이러고 자빠짐.
-
프로젝트 작업하다가 nginx 프록시 좀 건드릴 일이 있었음. 테스트 배포할 때 쓸 URL 좀 알려달라고 했거든(그냥 치기 귀찮아서). 그랬더니 갑자기 문서 읽고, 테스트 돌리고, 아주 지랄 발광을 하더라. 빡쳐서 멈추고 "뭐 하냐? 그냥 URL만 내놔"라고 하니까 그제야 1초도 안 돼서 바로 뱉어냄.
모든 프로젝트에서 이런 식임. 이거 하네스(harness) 문제냐? 이 두 사례만 봐도 큰 프로젝트에서 어떤 꼴이 나는지 딱 보이지 않냐? 그냥 지 맘대로 아무거나 막 함. 지금 상태로는 더 좋은 모델의 보조 에이전트로 쓰는 게 그나마 쓸모 있는 수준임.
