Opus 5.5가 첫 구현(one-shot)에는 매우 뛰어나지만, 이후 작업에서는 성능이 떨어지는 걸 느끼는 사람 있나요?
Does anyone else notice that Opus 5.5 is VERY GOOD at the first implementation of a task (one-shotting), but it doesn't follow through as good afterwards?
핵심 요약
AI 모델이 초기 프로토타입은 잘 만들지만, 이후 수정 및 고도화 과정에서 성능이 저하되는 현상에 대한 논의입니다.
- 초기 구현 성능 — 새로운 개념을 처음부터 구현할 때는 매우 뛰어난 성능을 보임
- 점진적 개선의 어려움 — 기존 코드에 기능을 추가하거나 수정할 때 성능 저하가 발생함
- 수확 체감의 법칙 — 프로젝트 완성도를 80~90%까지 끌어올리는 데는 훨씬 더 많은 노력과 명확한 지시가 필요함
- 가정의 누적 문제 — 수정 과정에서 새로운 가정이 계속 추가되어 시스템이 복잡해짐
방금 좀 이상한 패턴을 발견했는데, Opus한테 기존 거 수정하거나 덧붙이는 게 아니라 아예 새로운 개념으로 처음부터 작업을 시키면, 뭘 개선하려고 할 때보다 "처음부터 새로 만드는" 게 훨씬 성능이 잘 나오네?
지금 게임 하나 만들고 있는데 이런 일이 계속 반복됨. 모델이 거의 원샷(oneshotting)에 최적화된 느낌이라 개념 구현은 기가 막히게 하는데, 그걸 살을 붙여서 구체화하려고 하면 첫 시도만큼의 퍼포먼스가 안 나옴.
내 경험상으로는 첫 시도에 Max reasoning 박아서 굴리는 게 훨씬 낫고, 그 뒤에 수정할 때는 xHigh/High 정도로 낮추는 게 효율적인 듯.

