Qwen의 J-Space - Anthropic이 발견한 내부 모델 글로벌 워크스페이스

https://transformer-circuits.pub/2026/workspace/index.html

전체 내용은 Transformer Circuits에 있음.

잘 모르겠는데, 이거 그냥 기존에 잘 알려진 중간층 추상 표현을 더 공식적으로 재발견한 것 같음.

난 수년간 업스케일링을 통한 미드 트레이닝을 해왔는데, LLM의 사고 경로를 좁은 미로보다는 '분지(basins)'에 가까운 기하학적 구조를 가진 n층짜리 미로 속에서 떨어지는 구슬로 생각하면 더 순진하게 이해할 수 있다고 봄. 그 중간...

잘 모르겠는데, 이거 그냥 기존에 잘 알려진 중간층 추상 표현을 더 공식적으로 재발견한 것 같음.

블로그 포스트 읽으면서 나도 정확히 그 생각 했음. 적어도 내 J-space에서는 그렇게 보였거든. :)

그러다 문득 든 생각인데, 이건 Anthropic이 IPO를 앞두고 자기네 제품을 띄우려는 또 다른 수법일 뿐임. Claude가 무슨 생각을 하는지 심층 분석을 올림으로써, 의도적으로 모델을 의인화하고 마치 AGI가 코앞에 온 것처럼 보이게 만드는 거지. 하지만...

이거 진짜 역대급으로 혼란스럽네

난 그냥 수학 질문만 했고, 아무것도 바꾼 게 없는데

Qwen이 대체 무슨 생각을 하는 거냐 😭

<video>

인터넷의 30%가 포르노라는 말도 있잖아. Qwen이 자라온 환경이 그렇다면 탓할 수도 없지.