Like GPT-6 Astra, Qwen 3.8 27B can interpret model weights
Qwen 3.8 27B 모델이 모델 가중치를 해석할 수 있다는 소식에 로컬 LLM 커뮤니티가 흥미를 보임.
simonwillison.net
원문 사이트로 이동
Qwen 3.8 27B의 가중치 해석 능력에 대해 흥미롭다는 반응과 함께, 과도한 해석을 경계하며 실제 성능 개선 사례가 부족하다는 신중론이 공존하고 있습니다.
그럼 곧 바이브 가중치 모델이 나오는 건가
한 가지 작업은 천재적으로 잘하고 다른 건 멍청하게 수행하는 웃긴 변종들이 나오겠네.
이제 개쩌는 코딩(retardcoding)할 준비 됐다!!!
Qwen 3.8 27B만큼 성능 좋으면서 순수하게 창작 글쓰기에 특화된 모델이 나오면 진짜 대박일 듯. Gemma도 괜찮긴 한데, 코딩 떡칠 안 된 집에서 돌리는 Opus 같은 게 필요함.
ERP 풀강(MAXXED) 모델들 영접할 준비 완료됨.
ㅋㅋㅋ 지금 가중치가 뭐라고 생각하는 거임?
허깅페이스에 널린, AI가 대충 찍어낸 쓰레기 모델(slop)일 확률 높은 그 수많은 파인튜닝이랑 프랑켄머지 80% 같은 걸 말하는 거임?
이걸 집에서 하는 RSI라고 부르는 건 어때?
자기 자신의 가중치를 해석할 수 있을지는 모르겠음. 이 기사에서는 아주 단순한 신경망만 사용했거든. Astra처럼 Qwen 3.5 0.8b 가중치를 해석하거나 수정할 수 있는지 보면 재밌을 듯.
난 RSI에 관해서는 더 좋은 모델이 아니라 우리의 상상력이 부족한 게 문제라고 생각함.
그런 결론을 내리는 건 헤드라인만 읽고 정작 논문이나 원문은 안 읽어봤을 때나 가능한 거임.
다른 글에서 Astra가 수학 성능을 갉아먹던 루프를 제거하려고 모델 가중치를 수정했잖아. 같은 논문에서 루프가 없는 Gemma 모델의 수학 성능을 개선하려고 시도했지만 실패했다는 내용도 언급됨. 성능을 마음대로 개선할 수 있는 게 아님. 소프트웨어에 비유하자면, 버그는 고칠 수 있어도 새로운 기능을 짤 수는 없는 거랑 같음.
왜냐면 우린 투자자한테 뭘 팔 필요가 없으니까 ;)
Astra는 아마 수조 단위 파라미터 모델일 거임. 걔네가 수정한 Qwen 모델은 8억 파라미터고. 가중치를 분석하는 난이도 자체가 차원이 다름.
Qwen3.5 0.8B랑 같은 아키텍처를 쓰면서 루프 문제가 없는 더 최신/큰 모델들이 있음. 걔네가 Astra 학습 데이터에 포함됐을 가능성이 높아서, 사실상 Qwen이 이미 개선해놓은 걸 0.8B에 적용한 것뿐일 수도 있음.
이번 Qwen3.8 글은 흥미로움. LLM이 (학습 데이터에 LLM 가중치가 포함되지 않았다고 가정할 때) 인간보다 더 효율적으로 신경망 가중치를 추론할 수 있다는 걸 암시하니까 (마치 거대 코드베이스나 어셈블리를 인간보다 빨리 이해하는 것처럼).
논문은 멋지지만, 주변에서 나오는 과한 해석들은 좀 납득이 안 감. 소스 코드의 시대가 끝났다거나, 미래에는 기계가 스스로 가중치를 이해할 수 없는 방식으로 수정할 거라는 식의 주장을 받아들이기엔 아직 이름.
미안, 네 말이 맞아. 내 글에 좀 더 세심한 설명이 필요했네. 지난 3년간 우리가 본 혁신 대부분은 근본적인 아키텍처보다는 모델을 사용하는 방식에서 나왔다고 봐. 네가 말한 네 번째 포인트가 내가 의도한 바와 비슷해. 모델을 엄청나게 키우는 게 (지금까지는) 상당한 성능 향상을 보여주긴 하지만, 더 나은 RL 기법(Qwen 3.6에서 3.8로 넘어가며 에이전트 작업에서 보여준 상당한 성능 향상)이나 Nvidia의 Nemotron Labs Dory 같은 기술들을 보면 엣지 컴퓨팅에서 효율성을 높일 여지는 아직 많아.
난 지금 우리가 돈을 내고 쓰는 프론티어급 지능이 오픈 웨이트 모델이 달성할 수 있는 수준보다 9~12개월 정도 앞선 상태를 계속 유지할 거라고 봐. 이 기술은 아직 초기 단계니까. Mechanistic Interpretability 같은 분야가 더 잘 이해되고, 최근 2~3개월간 이 분야가 전반적으로 성장하는 걸 보면서, LLM 세계 전반에서 효율성이 비약적으로 발전하는 모습을 계속 보게 될 거야.
(말이 좀 횡설수설한 것 같네. 비판이나 수정 의견 환영해!)
그리고 하드웨어 사양도 문제지...
맞음. 내가 '우리'라고 말한 건 연구소 같은 곳들을 의미한 거임. 로컬 LLM 쪽 사람들은 몇 달 뒤에 바로 따라올 거다.
Qwen이 향후 4.0 및 5.0 버전에서도 오픈 소스 정책을 고수하겠다고 공식 발표하며 커뮤니티의 우려를 불식시켰습니다.
Qwen이 향후 4.0 및 5.0 버전에서도 오픈 소스 정책을 고수하겠다고 공식 발표하며 커뮤니티의 우려를 불식시켰습니다.
사용자들이 각자의 '바이브 코딩' 숙련도와 AI 활용 방식을 공유하며 토론하는 모습입니다.
사용자들이 각자의 '바이브 코딩' 숙련도와 AI 활용 방식을 공유하며 토론하는 모습입니다.
Claude의 갑작스러운 사용량 제한 정책 변화와 불투명한 운영에 대한 사용자들의 불만이 폭주하고 있습니다.
Claude의 갑작스러운 사용량 제한 정책 변화와 불투명한 운영에 대한 사용자들의 불만이 폭주하고 있습니다.