r/LocalLLaMA•3개월 전•128•97
Anthropic이 발견한 Claude의 'J-space'(침묵 속의 추론) — 오픈 소스 Qwen3-8B에 동일한 렌즈 적용
Anthropic found Claude reasoning in silence (J-space) — we ran the same lens on open Qwen3-8B
핵심 요약
Claude의 내부 추론 공간인 'J-space'를 오픈 소스 모델 Qwen3-8B에 적용해 본 실험 공유.
- J-space 개념 — 텍스트로 드러나지 않는 모델 내부의 침묵하는 추론 공간임.
- J-lens 실험 — Qwen3-8B 모델에 Jacobian 렌즈를 적용해 추론 과정을 관찰함.
- 도구 호출 제어 — 모델이 JSON 대신 엉뚱한 텍스트를 출력하는 현상을 사전에 방지함.
- 에이전트 가드 — 유용한 추론 공간을 유지하고 LoRA 데이터로 추출하는 기술을 구현함.
Anthropic의 Claude 연구에서 그들이 'J-space'라고 부르는 침묵하는 내부 작업 공간을 발견했습니다. 이는 가시적인 텍스트로 나타나지 않는 숨겨진 추론 과정입니다.
전형적인 예시: 모델은 49라고 답변하지만, J-space 내부에서는 21 → 42 → 49가 포착되었습니다.
중요한 차이점:
- Chain-of-thought = 읽을 수 있는 텍스트
- J-space = 활성화 상태에 존재하는 침묵하는 개념 ("모델이 무슨 생각을 하는지")
우리는 오픈 소스인 Jacobian lens (J-lens)를 Qwen3-8B에 장착하여 로컬에서 실행했고, 이를 통해 도구 호출 전 발생하는 prose drift(모델이 JSON 대신 "To, You, Do..." 쪽으로 기울어지는 현상)를 포착했습니다.
그 후 이를 에이전트 가드에 연결했습니다: 유용한 공간을 멈춤/취소/유지하고, 복구 과정을 LoRA 데이터로 추출했습니다.
8분짜리 설명 데모를 만들었습니다:
프로브 설정이나 가드 루프에 대해 궁금한 점이 있다면 답변해 드리겠습니다.
