RTX 4090 한 대로 ARC-AGI-2 11.67% 달성: TOPAS 재귀 아키텍처
11.67% ARC-AGI-2 Local Eval on a Single 4090: The TOPAS Recursive Architecture
핵심 요약
RTX 4090 한 대로 재귀적 추론을 활용해 ARC-AGI-2 대회에 도전하는 TOPAS 모델 개발기.
- TOPAS 아키텍처 — 재귀적 추론을 활용해 소비자용 GPU에서 고효율 모델을 구축함.
- ARC-AGI-2 도전 — 컴퓨팅 자원 경쟁이 아닌 아키텍처 최적화로 성능을 증명하려 함.
- 성능 한계 극복 — 시간 제한으로 인한 출력 누락을 해결하고 20% 이상의 점수를 목표로 함.
- 생물학적 모델 — 뇌의 영역 분리 방식을 모방한 로직 코어와 캔버스 코어 구조를 채택함.
ARC-AGI-2 대회에 관심을 갖는 사람이 많지는 않겠지만, 그래도 흥미로울 것 같아 공유합니다.
올해 마지막으로 대회가 진행 중입니다. 다들 작년 우승 오픈소스 코드를 그대로 가져와 리더보드를 도배하고 있죠. 그래서 리더보드를 보면 다 똑같은 점수들만 가득한 겁니다.
우리는 좀 다르게 접근해서, 고효율의 심층 재귀 모델을 처음부터 직접 만들고 있습니다.
공개 리더보드에서 11.67%를 기록했는데, 여기엔 큰 조건이 붙습니다.
우린 클러스터가 없습니다. RTX 4090 한 대뿐이죠. 1억 파라미터 모델을 학습시킨 지 14일 정도밖에 안 됐습니다.
로컬 환경에선 체크포인트가 36%까지 찍혔습니다. Kaggle 제출 시엔 재귀 루프 때문에 계산량이 너무 많아집니다. 제출 시간 초과를 피하려고 임계값을 너무 높게 잡았더니, 모델이 퍼즐의 절반 가까이를 [] (null)로 출력해버렸고, 그래서 11.67%가 나온 겁니다.
우리는 ARC가 단순한 컴퓨팅 자원 싸움이 아니라 아키텍처 싸움이라는 걸 보여주려 합니다. 생물학적 기억 모델을 사용하는 작은 모델들도 추론 루프를 잘 처리하면 체급 이상의 성능을 낼 수 있습니다.
오늘 밤 시간 관리 로직을 튜닝하고 있고, 모델이 사고 과정을 끝까지 마칠 수 있게 되면 내일 20% 점수를 낼 것으로 기대합니다. 그 이후엔... 모델이 여전히 Grokking 단계에서 학습 중입니다. 3~5주 정도 더 학습시키면 리더보드에 정말 획기적인 결과를 낼 수 있을 거라 확신합니다.
소비자용 하드웨어에서 재귀적 추론을 어떻게 확장하는지 궁금하시다면, 관련 질문에 기꺼이 답변해 드리겠습니다.
