r/LocalLLaMA•약 3시간 전•222•79
마이크로소프트, OpenAI가 GPT-6 시리즈에 루프 트랜스포머를 사용 중임을 확인
Microsoft confirms OpenAI has been using Looped Transformers in the GPT-6 series
핵심 요약
마이크로소프트 웹페이지를 통해 OpenAI의 GPT-6 시리즈가 루프 트랜스포머 기술을 사용한다는 사실이 확인되었습니다.
- 기술적 확인 — 마이크로소프트가 GPT-6 시리즈의 루프 트랜스포머 사용을 공식적으로 언급함
- 모델 구조 — GPT-6.1 Sol 모델이 3번 대신 2번의 추론 패스를 거치는 것으로 밝혀짐
- 성능 최적화 — 루프 트랜스포머를 통해 메모리 대역폭 병목 현상을 해결하고 연산 효율을 높임
- 정보 삭제 — 해당 내용이 공개된 직후 마이크로소프트 웹페이지에서 관련 정보가 삭제됨
마이크로소프트가 공개된 웹 페이지를 통해 OpenAI가 GPT-6 시리즈에 Looped Transformers를 사용해 왔다는 사실을 인정했다. 결국 The Information의 보도가 처음부터 맞았다는 게 증명된 셈이다.
GPT-6.1 Sol은 추론 과정을 2번 거치는데, "3번 대신"이라는 언급이 슬쩍 끼어 있다.
"GPT-6 Sol과 동일한 베이스 모델 가중치"라는 말 때문에 헷갈리는 애들이 있는 것 같은데, 내 생각엔 마이크로소프트가 6이랑 6.1 둘 다 동일한 사전 학습 "베이스 모델" 위에 포스트 트레이닝을 거친 모델이라는 뜻으로 말한 거지, 최종 가중치가 똑같다는 소리는 아닌 것 같다.
그러니까 포스트 트레이닝 방식이 다르고 루프 횟수가 하나 줄어든 거겠지.
업데이트: 마이크로소프트가 해당 내용을 웹 페이지에서 삭제했다.
