AMD Alveo V80 FPGA 카드를 가성비 Taalas HC1(칩에 구운 LLM)처럼 사용하는 것에 대한 생각
Thoughts on using an AMD Alveo V80 FPGA PCI card as a poor man’s Taalas HC1 (LLM-burned-onto-a-chip).
핵심 요약
FPGA를 활용해 LLM 추론 속도를 높이려는 아이디어의 기술적 타당성과 구현 난이도에 관한 토론.
- FPGA 활용 아이디어 — AMD Alveo V80을 활용해 Taalas HC1과 유사한 고속 추론 환경을 구축하려는 시도임.
- 기술적 구현 난이도 — FPGA 프로그래밍의 복잡성과 하드웨어 설계의 어려움으로 인해 개인 수준에서 구현하기는 매우 힘듦.
- AI의 제안 — Gemini가 제안한 DARF 아키텍처는 이론적으로는 흥미로우나 실제 구현 가능성에 대해서는 회의적인 반응이 많음.
- 비용 효율성 논란 — 고가의 FPGA 장비를 사용하는 것보다 기존 GPU를 활용하는 것이 훨씬 효율적이라는 의견이 지배적임.
TL:DR - 암호화폐 채굴 시절에 FPGA PCI 보드가 대세였던 게 기억남. AMD Alveo V80 FPGA 카드를 Taalas HC1(칩에 구운 LLM)의 성능을 흉내 내는 데 쓸 수 있을지 궁금했음. Gemini Pro에게 타당성 검토를 맡겨봄. Gemini는 FPGA에서 추론을 가속하는 일종의 추측 디코딩(speculative decoding) 방식을 제안했고, Qwen3.5 4b 모델을 Q4 양자화해서 3,200 tk/s, 9b 모델로는 1,400 tk/s 정도 가능할지도 모른다고 했음. Taalas HC1 속도는 아니지만, 그래도 꽤 빠를 수 있음. 혹시 이런 시도를 해본 사람이 있는지 궁금해서 글을 올림. 참고로 AMD V80 FPGA는 9500달러 정도 함.
Taalas라는 회사가 Llama 3.1 8b 가중치를 칩에 구워서 15,000 tk/s라는 말도 안 되는 속도를 낸다는 걸 봤음. 언제 출시될지는 모르겠지만, 그게 내 호기심을 자극했음. 물론 모델 가중치를 칩에 구워버리면 그 가중치만 평생 써야 한다는 단점이 있지만, 모델이 좋다면야 충분히 멋진 일이지!
암호화폐 채굴 시절, BitMain L3+ ASIC 채굴기를 썼는데, 이건 Script 알고리즘이 칩에 구워져 있어서 해당 알고리즘을 엄청나게 빨리 돌릴 수 있었음. GPU로도 채굴할 수 있었지만 ASIC에 비하면 엄청 느렸음. Taalas 칩이 LLM 추론에서 GPU를 이기는 것도 같은 원리임.
사람들이 ASIC 채굴기에 질린 이유는 특정 알고리즘에만 특화되어 있어서, 더 효율적인 알고리즘이 나오면 6개월 전에 산 장비가 고철이 되기 때문이었음. 그래서 나온 게 FPGA임. GPU보다 빠르면서도 ASIC처럼 특정 알고리즘에 고정되지 않고 재프로그래밍이 가능했으니까. 사실상 재프로그래밍 가능한 ASIC이었던 셈임. 이더리움이 지분 증명(PoS)으로 넘어가면서 채굴이 죽기 직전이었는데, 그때 Xilinx Alveo U55C(16GB HBM) PCIe FPGA를 살까 고민했었음. 결국 안 샀지만, 지금 생각하면 좀 아쉬움.
Taalas의 LLM 칩 소식을 듣고, 왜 FPGA PCI 카드로 똑같은 짓을 안 할까 싶었음. Xilinx U55C 같은 FPGA 카드에 가중치를 HBM에 구워서 칩에 구운 것과 비슷한 속도 향상을 얻으면서도, FPGA의 재프로그래밍 가능성이라는 장점까지 챙길 수 있지 않을까?
Gemini Pro에게 타당성 검토를 맡겨봄. U55C는 메모리가 너무 부족했지만, AMD Alveo V80은 Gemini가 보기에도 현재 소비자용 GPU보다 추론 속도를 가속할 가능성이 조금은 있어 보였음. Gemini의 답변은 다음과 같음:
질문: 사고 실험: Alveo V80을 Taalas 수준에 가깝게 가속하려면 어떻게 해야 할까? 추론을 가속할 수 있는 새로운 아이디어를 내봐. 코드는 말고 아키텍처 개요만 알려줘.
이건 내가 정말 좋아하는 하드웨어 퍼즐임. V80으로 Taalas HC1을 따라잡으려면, V80을 GPU처럼 쓰는 걸 멈추고 그 본질인 공간 컴퓨팅과 프로그래밍 가능한 메모리 컨트롤러를 활용해야 함. Taalas처럼 HBM 병목을 완전히 없앨 수는 없으니, HBM을 보이지 않게 만드는 데 집중해야 함.
V80으로 그 격차를 줄이기 위한 아키텍처 개요임. 이 개념을 'DARF(Dynamic Activation-Routed Fetching, 동적 활성화 라우팅 페칭)'라고 부르겠음.
- "Taalas-Lite" SRAM 드래프트 코어
V80에는 약 673MB의 내부 UltraRAM과 Block RAM이 있음. 이걸 완전히 증류된 초양자화(1비트 또는 1.5비트) '드래프트' 모델에 할당함.
개념: 타겟 LLM의 아주 작은(예: 500M 파라미터) 버전을 훈련해서 1비트나 1.5비트(ternary)로 양자화함. 이게 온칩 SRAM에 완전히 들어감.
