Opus 5의 횡설수설

완전 동감함. 얘가 뱉어내는 문장들은 전문 용어로 도배되어 있고, 필요한 설명은 빠져 있는 반면 필요 없는 부분은 지나치게 상세함. 일부러 사람처럼 안 들리게 하려고 작정한 건가?

실제 모델의 답변을 즉석에서 이런 전문 용어로 번역하는 별도의 작은 모델이 있는 걸지도 모름. IQ 높은 모델이 이렇게까지 언어 능력이 망가졌다는 게 믿기지가 않음.

나도 똑같은 상황임. Opus는 '간결하게 작성하고 코드에 주석 달지 마' 같은 규칙이나 가이드라인을 전혀 신경 안 쓴다는 걸 알게 됐음. 더 최악인 건, 아주 간단한 질문에도 수수께끼처럼 말한다는 거임. 그리고 난 항상 반박해야 하고, 정확하게 지적하는 게 가치가 있으며, 기억에 의존하기보다 확인하는 게 낫다는 걸 느낌. 진짜 짜증 나네.

Opus 5는 진짜 엉망진창이지, 안 그래?

전문 용어로 가득 찬 횡설수설, 여기저기서 지시사항 까먹기, 무한 루프 속에서 계속 수정하고 고치게 만드는 서툰 실수들까지.

난 헤밍웨이 규칙(Hemingway Rules)을 기반으로 한 툴을 만들어서, 전문 용어나 기술적 개념을 적용하기 전에 먼저 설명하도록 강제했음. 이게 도움이 됨.

이게 재귀적 자기 개선(Recursive Self Improvement) 루프의 시작이라고 생각함. 모델들이 일반적인 인간의 의사소통을 부정확하다고 판단해서 아주 정밀한 언어로 말하기 시작하는 거지.

난 종종 모델한테 코드 한 줄 한 줄을 짚어가며 개념과 의도를 설명하라고 강제함. LLM의 '러버 덕(rubber duck)'이 되어주는 이 과정은 아주 자주...