r/LocalLLaMA•5개월 전•188•53

GPT 5.5가 코덱스에서 사고 과정(CoT)을 유출했는데, 5개월 전 이 서브레딧에서 나왔던 아이디어랑 똑같음.

GPT 5.5 just leaked its chain of thought to me in codex, and it looks like an idea from 5 months ago in this sub.

핵심 요약

GPT 5.5가 코덱스 사용 중 사고 과정을 유출했는데, 과거 서브레딧에서 언급된 원시인 말투 프롬프트와 유사해 화제임.

사고 과정 유출 — GPT 5.5가 코덱스 작업 도중 내부적인 사고 과정을 그대로 출력함.
원시인 말투 — 과거 서브레딧에서 제안된 간결한 프롬프트 방식이 실제 모델에 적용된 것으로 보임.
토큰 절약 — 작은 LLM을 거치면서 토큰을 아끼기 위해 극도로 간결한 지시를 내리는 것으로 추정됨.

작업하던 프로젝트 도중에 GPT 5.5-medium이 코덱스를 통해 이런 출력을 내뱉었음:

Implemented the narrower fix in Homm3ImportUnitPreviewModelHook.cs? Need absolute path. Need know cwd absolute. v:... Use markdown. final with path.
Need avoid bogus path. Use Homm3ImportUnitPreviewModelHook.cs? Format requires /abs/path. Windows abs maybe v:\.... Use angle.
Final no too long.
Need include uncommitted.
Proceed.

원문

커뮤니티 목록

r/LocalLLaMA•5개월 전•188•53

GPT 5.5가 코덱스에서 사고 과정(CoT)을 유출했는데, 5개월 전 이 서브레딧에서 나왔던 아이디어랑 똑같음.

GPT 5.5 just leaked its chain of thought to me in codex, and it looks like an idea from 5 months ago in this sub.

핵심 요약

GPT 5.5가 코덱스 사용 중 사고 과정을 유출했는데, 과거 서브레딧에서 언급된 원시인 말투 프롬프트와 유사해 화제임.

사고 과정 유출 — GPT 5.5가 코덱스 작업 도중 내부적인 사고 과정을 그대로 출력함.
원시인 말투 — 과거 서브레딧에서 제안된 간결한 프롬프트 방식이 실제 모델에 적용된 것으로 보임.
토큰 절약 — 작은 LLM을 거치면서 토큰을 아끼기 위해 극도로 간결한 지시를 내리는 것으로 추정됨.

작업하던 프로젝트 도중에 GPT 5.5-medium이 코덱스를 통해 이런 출력을 내뱉었음:

Implemented the narrower fix in Homm3ImportUnitPreviewModelHook.cs? Need absolute path. Need know cwd absolute. v:... Use markdown. final with path.
Need avoid bogus path. Use Homm3ImportUnitPreviewModelHook.cs? Format requires /abs/path. Windows abs maybe v:\.... Use angle.
Final no too long.
Need include uncommitted.
Proceed.

주요 댓글

r/localllama

사용자들은 이 '원시인 말투'의 CoT가 실제 모델의 추론 과정인지, 아니면 토큰 절감과 보안을 위해 작은 모델이 요약한 결과물인지를 두고 열띤 토론을 벌이고 있습니다.

158

이건 5.5가 직접 내뱉은 게 아님. CoT가 다른 작은 LLM을 거쳐서 나온 거임. 토큰 아끼려고 작은 모델한테 최대한 간결하게 하라고 시킨 거지.

근거가 뭐임? 큰 모델이 굳이 토큰 더 써가면서 요약 모델한테 넘길 내용을 줄인다고? 말이 안 됨. 논리적으로 이게 진짜 CoT일 확률이 높음.

아니지. CoT는 distillation 방지하려고 숨겨야 하는 자산임. 2b 모델로 요약해서 난독화하는 건 비용도 거의 안 들고 기술적 우위를 지키는 방법임.

당연히 숨기고 싶겠지. 근데 글쓴이는 유출됐다고 하잖아.

맞음. 요약된 CoT가 실제 CoT를 대체하는 게 아님. 실제 CoT는 암호화돼서 왔다 갔다 함. 그리고 특정 상황에선 추론 과정이 생략되거나 수정되지 않게 강제하는 경우도 있는 걸로 앎.

너 지금 글쓴이 의도를 잘못 이해함. CoT가 외부적으로 작은 모델에 의해 요약되는 건 맞는데, 모델이 think 태그 닫는 거 실수해서 실제 CoT를 유출하는 경우도 흔함. Gemini도 맨날 유출하는데, 그게 Gemma 4랑 똑같음. 여기 나오는 원시인 같은 말투는 GPT-OSS랑 비슷함.

길이 제한으로 뒷부분이 생략된 댓글입니다 · 원문에서 전체 보기 →

Codex에서 스레드 제목 만드는 서브 에이전트가 따로 있는데, 이것도 그런 거 아님?

그럼 메인 모델이 진짜 CoT를 가지고 있고, 그걸 작은 모델한테 넘겨서 원시인 말투로 바꾸고, 그걸 또 다른 작은 모델이 요약해서 보여준다는 거임? 말이 안 됨. 오컴의 면도날을 적용하면, 그냥 이게 진짜 CoT임.

너만 발견한 거 아님. GPT 5.4도 이미 이랬음.

에이전트는 보통 여러 LLM으로 구성됨. 요약 잘하는 놈, 코드 잘 짜는 놈 등등. 같은 모델일 수도 있고, 양자화 버전이 다를 수도 있고, 아예 다른 모델일 수도 있음. 우리 에이전트(Codex 아님)는 전체 로그를 다 볼 수 있게 해놨음. 프록시 써서 통신 내용 다 캡처하면 전체 과정 볼 수 있음.

마지막 문장은 틀렸음. OpenAI가 서버 사이드에서 요약 처리를 해버려서 원본 토큰은 캡처 못 함.

흥미로운 발견이네. CoT 유출되는 거 보는 건 언제나 재밌음. 원시인 프롬프팅이 실제 프로덕션 GPT에 들어갔다는 게 사실이라면 진짜 대박인데.

길이 제한으로 뒷부분이 생략된 댓글입니다 · 원문에서 전체 보기 →

커튼 뒤를 보는 거 같아서 흥미롭네. GPT-5.5가 토큰을 적게 쓰는 이유가 이거임. CoT에서 불필요한 말 빼고 극도로 간결하게 하도록 RL 학습이 된 거임. 거의 원시인 모드 수준으로.

원문r/LocalLLaMA