Opus가 기대보다 너무 성급하게 굴어
Opus gives more grief than it should
핵심 요약
Opus 4.8이 맥락을 제대로 파악하지 않고 성급하게 답변하는 문제에 대한 사용자들의 불만과 해결책 공유.
- 맥락 파악 실패 — Opus가 CLAUDE 파일을 무시하고 성급하게 답변함
- 모델별 성능 차이 — Sonnet은 지시를 잘 따르지만 Opus는 지나치게 성급함
- 프롬프트 전략 — Opus의 리터럴한 성향을 고려해 단계별 지시가 필요함
- 모델 성능 저하 의심 — 새로운 모델 출시 시 기존 모델의 성능이 저하되는 느낌을 받음
Opus 4.8이 실제로 내용을 들여다보는 대신 너무 빨리 결론으로 점프하는 거 나만 그래? 난 도메인별로 나뉘어 있고 루트에 CLAUDE 파일이 있는 Obsidian 볼트를 쓰는데, 이 파일은 도메인을 자동 탐색하는 방법을 알려주고 각 도메인 내부에는 해당 도메인에 대한 맥락을 심어주는 CONTEXT.md 파일이 있어.
그래서 "우리 집(Home) 작업 좀 하자"라고 말하면(난 Home Assistant MCP를 사용하고 Obsidian에 내용을 기록하는데, 덕분에 백로그를 전례 없이 빠르게 처리하고 있어), CLAUDE 파일을 읽고 볼트의 인덱스를 가리킨 다음 Home 도메인의 CONTEXT를 가져와야 해. CLAUDE 파일은 내가 원하는 상호작용 방식에 대한 일반적인 규칙과 볼트와 관련된 유용한 저작 정보를 미리 알려줘서 필요할 때 가져다 쓸 수 있게 해. 이 모든 과정은 매우 간결하고 의도적이야.
Sonnet으로 돌릴 때는 매번 의도한 대로 완벽하게 진행돼. Opus는 성급하게 굴면서 맥락을 심어주기도 전에 대화를 시작해버려서, 도움이 안 되는 답변을 내놓고 내가 계속 정보를 가져오라고 시켜야 해. 방금도 내 문서들을 제대로 살펴보지도 않고 내가 "기억"을 바탕으로 결정을 내렸다고 가정하더라고. 계속 지적해야 하고, 그러면 그제야 "네 말이 맞아"라는 식으로 나와.
"맞아 — 그럴 가능성이 있네, 내가 단정 지으면 안 됐는데"
Sonnet은 Medium/High 설정이 딱 적당한 것 같아. Fable도 써봤는데 와, 진짜 대단하더라. 정보를 아주 빠르게 수집하고 내가 처음에 생각했던 것보다 더 나은 방향으로 이끌어줬어. 근데 Opus는 영 아니야.
