r/LocalLLaMA•5개월 전•204•40
FPGA에서 5만 tps로 구동되는 Karpathy의 MicroGPT
Karpathy's MicroGPT running at 50,000 tps on an FPGA
핵심 요약
FPGA를 활용해 4,192개 파라미터 모델을 초고속으로 구동한 사례가 주목받음.
- FPGA 가속 — 로컬 모델 추론을 위한 FPGA의 잠재력과 하드웨어 가속 가능성을 보여줌.
- 온보드 ROM — 외부 메모리 대신 온보드 ROM을 사용하여 추론 속도를 획기적으로 높임.
- SLM 전용 하드웨어 — 향후 소형 언어 모델에 최적화된 전용 FPGA 개발 가능성을 시사함.
- SmartSSD 활용 — 플래시 메모리 기반 FPGA를 통해 긴 컨텍스트 처리를 효율화하는 방안이 논의됨.
겨우 4,192개 파라미터지만, 시작이 반이지. 프로젝트 상세 내용은 여기: https://v2.talos.wtf/ 그리고 깃허브 저장소는 여기: https://github.com/Luthiraa/TALOS-V2
속도 비결 중 일부는 가중치를 외부 메모리가 아닌 온보드에 탑재한 덕분이야. 온보드 ROM을 사용하면 16비트 가중치 기준으로 현재 FPGA는 최대 2,000만~3,000만 파라미터까지 수용할 수 있어. 하지만 이번 프로젝트와 Taalas(https://taalas.com/ - 이름이 비슷한 건 우연이 아닐 거야)가 앞으로 더 많은 온보드 ROM을 탑재한 FPGA나 SLM 전용 FPGA 개발을 이끌지도 모르지.
