GPT-6가 다른 AI의 '뇌 수술'을 성공적으로 수행해 더 똑똑하게 만들었다

걔네가 Astra한테 .5B 모델의 forward pass를 실행할 권한을 주고, 프롬프트 안에 reasoning loop를 찾으라는 힌트까지 줬더라고(LLM이 스스로 문제를 식별했다는 주장을 좀 무색하게 만드는 거긴 하지만 뭐 어때). 그리고 50번의 반복 끝에 알려진 mech interp 기법을 사용해서 원인이 되는 MLP 회로를 분리하고 가중치를 수정했어.

결국 GPT6 Astra가 뭘 해야 할지 아는 전문가나 파워 유저들한테는 훌륭한 도구라는 뜻이지. 그냥 일반인들은 프롬프트 몇 번 친다고 이런 걸 해낼 순 없어... 아직은 말이야.

가중치를 직접 수정하는 건 인상적이네. backprop 없이 어떻게 수정해야 할지 아는 거지? 논문에서도 이전 모델들은 이걸 못 했다고 언급했더라고.

맞아, 나도 지금 이걸 알아내려고 작업 중이야. 컴퓨팅에서 사용하는 원래의 수학이랑, 그걸 이해하고 유지보수하기 쉽게 만들려고 고안해낸 추상화 계층들, 그리고 그게 어떻게 더 효율적인 명령어 세트나 알고리즘 등으로 이어졌는지 생각나게 하네. 신경망 가중치의 다차원 수학을 일종의 언어로 바꿀 수만 있다면, 최소한 인간이 검토할 수 있게는 만들 수 있을 거야. 솔직히 그 수학을 언어로 추상화하는 방법을 찾으면 신경망의 멀티 에이전트 개발이 훨씬 개선될 거라고 봐. 처리하는 데 그렇게 큰 힘을 들이지 않아도 공유된 언어로 작동할 수 있을 테니까. 결국 이런 건 나보다 똑똑한 사람들이 해야 할 일이라, 그냥 LLM이 하나 만들어내게 두는 게 최선일 듯, ㅋㅋ.

음... 동료 평가를 거친 증거가 있고 이걸 재현할 수 있다면 믿겠음.

아니, 절대 아님.. 신경망이 일반적으로 어떻게 학습되는지 조금이라도 알거나 관련 일을 해봤다면.. LLM이 기본적으로 10억 개의 파라미터 모델 가중치를 fine-tune할 수 있다는 게 도저히 믿기지가 않음.. 이게 어떻게 된 건지 좀 더 찾아봐야겠네..

이제 누가 최신 Qwen 모델에 이걸 적용해서 뱅글뱅글 도는 '대기 중'이라는 사고방식 좀 멈춰줬으면 좋겠다.

기사를 읽어보긴 했는데, 난 그냥 제목이랑 트윗 내용에 반응한 거였어. 그게 이 포스트의 전부였으니까. 그리고 내 의심대로 꽤나 오해의 소지가 있었던 게 맞았고. 그래서 말인데..

이건 그렇게 터무니없는 소리가 아님. 왜냐면 이 모델들이 정확히 그런 걸 하도록 학습됐으니까.

아니, 전혀 아님. 네가 언급한 예시들은 인간이 표현과 행동 사이를 직접적이고 정적으로 변환할 수 있는 것들이라 학습 데이터가 존재하는 거임. 신경망의 경우엔, 여기서 다루는 것 같은 몇몇 고수준 패턴을 제외하면 우리가 그렇게 할 수가 없음. 그래서 LLM이 그렇게 하도록 만들 학습 데이터도 존재하지 않는 거임.

전통적인 모델(KNN/SVM/RF/XGBoost)이든 신경망이든, 전문화된 모델들이 LLM보다 훨씬 작은 크기로도 특정 작업에서 LLM을 능가하는 이유가 바로 이거임. 굳이 따지자면, 요즘 LLM은 도구만 주어지면 그런 작업을 하라고 시켰을 때 스스로 모델 하나를 학습시킬 수는 있을지도 모르겠네.