의미론적 대체(semantic substitution)에 지쳤다
Sick of semantic substitution
핵심 요약
Claude가 코드나 수학 작업 중 임의로 단어를 바꿔 생산성을 저해하는 현상에 대한 분석과 가설입니다.
- 생산성 저하 — 모델이 코드 내 고유 명사를 임의의 동의어로 바꿔 혼란을 야기함
- 워터마크 가설 — Anthropic이 워터마크 탐지율을 높이려 모델의 엔트로피를 의도적으로 높였을 가능성 제기
- 품질 문제 — Claude의 산문 작성 능력이 Opus 4.7 이후로 개선되지 않고 오히려 퇴보함
- 사용자 반응 — 모델의 불필요한 단어 선택에 공감하는 의견과 기술적 근거를 비판하는 의견이 대립함
이런 모델들이 확립된 어휘를 아무 의미 없는 유의어로 바꿔버리는 건 생산성을 아주 박살 내는 짓이야. 특히 수학이나 코딩할 때는 더더욱 그렇지.
아니 클로드, "morph the routine"을 "reshape the routine"으로 바꾸면 안 된다고. 코드에는 Morph만 있는데 reshape이라고 하면 그게 대체 뭔지 어떻게 알아?
이런 식으로 의미를 멋대로 바꿔버리면 모델이 짠 코드나 결과물을 이해하기가 엄청나게 피곤해져. 게다가 가끔은 잘못된 계획을 짜놓아서, 그 계획을 이어받은 다음 에이전트가 완전히 엉뚱하게 해석하게 만드는 원인이 되기도 해.
난 이게 워터마킹 규제를 맞추려고 하다가 생긴 부작용이 아닐까 의심하고 있어. 물론 워터마킹 자체가 직접적인 원인이라고 말하는 건 아냐. 내 가설은 앤스로픽이 규제 대응 프로젝트를 진행하면서, 모델에 의미론적 대체(semantic substitution)를 더 많이 하도록 만들었을 거라는 거지.
물론 이건 그냥 내 가설일 뿐이야.
자, 왜 이런 가설을 세웠는지 설명해 볼게. 우선 이걸 봐.
https://pmc.ncbi.nlm.nih.gov/articles/PMC11499265/
For example, if the LLM distribution is very low entropy, meaning it almost always returns the exact same response to the given prompt, then Tournament sampling cannot choose tokens that score more highly under the g functions. In short, like other generative watermarks2, Tournament sampling performs better when there is more entropy in the LLM distribution, and is less effective when there is less entropy. In Supplementary Information section H, we provide a theoretical analysis describing the watermarking strength of a layer of Tournament sampling as a function of a certain kind of entropy; similar analyses have been done for other generative watermarks23–25. The entropy of the LLM distribution itself depends on several factors, including the model—for example, larger or more advanced models tend to be more certain and thus lower entropy21, and reinforcement learning from human feedback can reduce entropy (also known as ‘mode collapse’).
