16GB VRAM GPU용 Ninfer 4080을 직접 만들었습니다

실제로 써보면 프롬프트가 충분히 길 때 프리필 속도가 2k+까지 찍히고, 코딩할 땐 디코딩 속도가 150~200, 일반 글쓰기 땐 100 정도 나와. 주관적인 느낌으로는 예전에 쓰던 beellama보다 벤치마크 결과도 좋고 훨씬 빨라. 30분 내외로 빠르게 돌려볼 수 있는 MBPP랑 HumanEval 위주로 테스트했는데, MBPP는 90~92%, HumanEval은 95~96% 정도 유지해. 측정 오차 범위 내의 미세한 성능 저하는 있을 수 있으니까 너무 예민하게 굴지는 말고. 이건 주로 KV 양자화 때문에 생기는 거라, 필요하면 설정을 바꿔서 정확도랑 컨텍스트를 타협하면 돼.

배운 점

• 범용 엔진들이 성능을 얼마나 낭비하고 있었는지 알면 진짜 기절할 수준이야. 넓은 범용성을 챙기느라 성능을 희생하는 건 이해하지만, 이 정도일 줄은 몰랐거든. 처음에 메모리 처리량 측정했을 때 200 GB/s 정도 나오길래, 이 장비 이론상 최대치가 720 GB/s인 거 보고 진짜 입이 떡 벌어지더라. 처음 시작할 땐 효율이 너무 구렸거든.

• 우리 커뮤니티에서도 특화된 추론 엔진들이 성능을 엄청나게 끌어올리는 걸 다들 봤을 거야. R9700용 vllm-radiance, CUDA용 NInfer 변종들, Metal용 Splash까지. 소프트웨어 만드는 비용이 점점 싸지고 있으니까, 우리 같은 "팅커러(tinkerer)" 그룹에서 이런 시도가 앞으로 더 많이 나올 거라고 봐.

이 작업에 토큰 20억 개 정도를 썼는데 고작 13달러밖에 안 나왔다는 게 진짜 미친 수준임(물론 비수기 시간대 기준). 에이전트 작업에서 캐시 읽기 토큰 비용이 낮다는 게 내 예상보다 훨씬 더 중요하더라. LLM의 작동 원리를 머리로만 이해하는 거랑, 실제로 빅데이터 결과를 눈으로 확인하는 거랑은 차원이 다른 문제임. 솔직히 이 정도 가격이면 토큰 뽑아내는 데 드는 전기세가 더 많이 나올 지경임.

Qwen 3.8 27B에서 xhigh 사고 방식을 다시 써봤는데, 속도가 워낙 빨라서 딱히 신경 쓸 겨를도 없더라. 생각하는 과정 보여주는 블록도 다시 숨겨버림. 어차피 따라가지도 못하겠더라고.

프리필(prefill) 속도 보고 진짜 뒤통수 맞은 기분이었음. 첫 번째 대규모 개선 작업 끝나고 Pi에서 돌려봤는데, 토큰 스트리밍이 즉각적으로 튀어나오는 거 보고 멍하니 있었다. 캐시된 시스템 프롬프트 없이 5~10초씩 기다리는 거에 너무 익숙해져 있었거든. 사용자 경험 측면에서 이게 얼마나 중요한지 내가 너무 과소평가했음. 이제는 그냥 클라우드 엔드포인트 쓰는 느낌임.

이 정도 프리필 속도면 40초 만에 컨텍스트 윈도우가 꽉 차버리는데, 처음 겪었을 때 진짜 "와 미친" 소리가 절로 나오더라.

100k 컨텍스트에 도달하려면 상당한 KV 압축이 필요한데, Qwen 3.8 27B에서 256k 컨텍스트를 F16으로 다 채우려면 VRAM이 정확히 16GB 필요함. 처음엔 "high"(4bit 스타일) KV 압축이 좀 겁났는데, 이 분야 기술이 진짜 많이 발전했더라. 원래는 Q8_0 밑으로는 절대 안 내려갔거든. 그러다 벤치마크 돌려보고 beellama에서 kvarn5/kvarn5를 썼는데, 지금 쓰는 rk4v4-e8 변형이랑 비교해도 체감되는 차이가 전혀 없음. 결국 좋은 소프트웨어 엔지니어링 관행이 훨씬 중요하고, 거기서 생기는 문제들도 다 잡아낼 수 있다고 봄. 주관적으로 봐도 여기서 "빠르기만 하고 쓰레기 같은" 현상은 전혀 안 느껴짐.

결론

개인적으로 이번 버전은 1.0으로서 아주 훌륭하다고 생각함. Qwen 3.8 27B에 더 이상 힘 뺄 생각은 없음. 파레토 법칙의 80% 지점에는 도달했거든. 이제는 그냥 즐겁게 쓰면서 결과물을 누리고 싶음. 너희들도 그랬으면 좋겠다! 물론 조만간 Qwen 4 27B 나오면 다시 한번 확인해 볼 생각임.

혹시 16GB RTX 4xxx 카드 쓰는 사람 있으면 잘 돌아가는지, 속도는 어느 정도 나오는지 알려주면 고맙겠음. 솔직히 이게 RTX 4080 하드웨어에 얼마나 종속적인지 판단이 안 서서 말이야. 4080 쓰는 형들은 그냥 즐기면 됨 :)

감사 인사

• 나보다 먼저 NInfer 작업했던 모든 사람들, 진짜 대단하고 덕분에 안정적인 기반 위에서 포크(fork)할 수 있었음.

• NInfer-4090 만든 sergiuszm에게 특별한 경의를 표함. SM_89 관련해서 힘든 작업은 이미 다 해놓은 것 같더라.

• GSQ 연구하고 safetensor 체크포인트 제공해 준 ISTA-DASlab에도 감사를! 독일에서 오스트리아로 건배를 보냄 :) EU에서 이렇게 중요한 기여를 해주는 걸 보니 너무 좋네.