Fabel 5.1, 학습 없이 AI 모델 가중치를 직접 작성하다
Fabel 5.1 Can Write AI Model Weights Directly Without Training
핵심 요약
학습 데이터나 최적화 과정 없이 자연어 명세만으로 신경망 가중치를 직접 생성하는 Fabel 5.1의 실험적 사례를 소개합니다.
- 직접 가중치 생성 — 학습 데이터와 최적화 없이 명세만으로 신경망 모델을 구축함
- 코딩 에이전트 분석 — 루프에 빠진 에이전트를 탐지하는 모델을 기존 학습 방식보다 훨씬 높은 정확도로 구현함
- 클라우드 조명 모델 — 셰이더 코드로 컴파일 가능한 고성능 구름 조명 모델을 생성함
- 잠재적 활용성 — 특정 도메인에 최적화된 맞춤형 모델을 자연어로 즉시 생성할 수 있는 가능성을 제시함
Fable 5.1한테 신경망 가중치 전부를 글로 쓴 사양서에서 바로 뽑아내게 하는 실험을 해봤음. 학습 데이터도 없고 옵티마이저도 없이, 그냥 바닥부터 시작한 거임. 이게 진짜 가능한지 보여주고 싶었고, 실제로 쓸모가 있을지도 궁금해서 전혀 상관없는 두 가지 작업에 테스트해 보기로 했지.
-
루프에 빠진 코딩 에이전트 잡아내기. 2.1M 파라미터짜리 트랜스포머가 각 도구 호출을 생산적(productive), 복구 중(recovering), 정체됨(stalled), 진동함(oscillating)으로 분류하게 했음. 숨겨진 테스트 셋에서는 0.957, 독립적으로 작성된 생성기 로그에서는 0.908이라는 점수가 나왔음. 분포 밖 로그에서는 정상적인 윈도우의 6.8%를 오탐지했는데, 똑같은 아키텍처를 223,930개의 라벨로 기존 방식대로 학습시켰을 때는 오탐률이 34.5%나 됐음. 총비용은 API 요금 기준으로 모델 사용료 64.62달러 들었는데, 난 그냥 일반 구독으로 돌렸음.
-
구름 조명 효과. 3,057 파라미터짜리 네트워크가 레이 마처(ray marcher)한테 적운 내부의 각 지점에 빛이 얼마나 도달하는지 알려주는 거임. 패스 트레이싱 참조값 대비 휘도 오차는 13.8%(보류된 뷰에서는 15.5%) 수준인데, 단일 산란 베이스라인은 82.4%였음. 가중치 거의 전부가 0이거나 물리 공식이라 셰이더 코드 116줄로 컴파일되더라. 브라우저에서 60fps로 돌아가고, 게시물에서 태양 위치를 드래그해서 옮길 수도 있음. 비용은 75.77달러 들었음.
결과에서 흥미로웠던 건 실험 그 자체보다는(구름 조명 모델은 꽤 예쁘긴 함), 앞으로 이걸 어떻게 활용할 수 있을지에 대한 후속 질문이었음.
내가 여러 분야에서 일해봤는데, 규칙 기반 엔진이나 다른 것들보다 훨씬 성능이 좋았을 법한 도메인 특화 모델들이 머릿속에 막 떠오르더라고.
지금 시점에서 엄청나게 저평가된 활용 사례 같음. 우리만의 니치한 작업을 위해 커스텀 모델을 바로바로 만들고, 자연어로 튜닝하면서 쓸 수 있는 세상이 오면 대체 뭘 할 수 있을까?
