GPU 부자 변호사의 4번째 이야기: 2018년형 V100 8대로 돌리는 DeepSeek-V4.1-Flash
Lawyer with too many GPUs, part 4: DeepSeek-V4.1-Flash on eight V100s from 2018. 200+ tok/s on code, ~110 on legal writing, 2,200 tok/s prefill at 128K, 524K context, every weight in VRAM
핵심 요약
변호사가 8개의 V100 GPU를 활용해 DeepSeek-V4.1-Flash를 로컬에서 구동하며 실무에 최적화된 성능을 구현했습니다.
- 로컬 LLM 구축 — 8개의 V100 GPU를 활용해 실무용 RAG 및 법률 문서 작성 환경 구현함
- 성능 최적화 — 커스텀 커널과 파이프라인 병렬 처리를 통해 코드 작성 시 초당 200토큰 이상의 속도 달성함
- 실무 활용도 — Claude Code를 로컬 서버에 연결하여 보안이 중요한 사건 기록 분석 및 초안 작성에 활용함
- 오픈 소스 기여 — 튜닝 과정에서 얻은 설정값과 최적화 코드를 깃허브에 공개함
샘 알트만, 엿 먹어라. 내 여유 자원은 내가 알아서 쓴다.
V100 서버 쓰는 변호사한테 업데이트 하나 준다. 3일 전에 신나서 V100 4개로 DeepSeek-V4.1-Flash 돌리면서 36-38 tok/s 나온다고 글 썼는데, 그때는 커스텀 커널 작업이랑 프리필 최적화도 하기 전이었다. 8개로도 해보겠다고 했는데, 진짜로 했다.
결과는 솔직히 말해서, 진짜로 좋고 실질적으로도 쓸만하다. 블렌더로 3D 섬 따위나 만들거나, 웹 브라우저에서 게임보이 게임 복구하는 데 이 모델 안 썼다. 퀄리티 낮은 애니메이션 영상 만들지도 않았고, 아무도 안 볼 웹사이트 10개씩 찍어내지도 않았다. 에이전트가 에이전트를 위한 솔루션을 제공하는 비즈니스 워크플로우를 돌리는, 그런 꼬리에 꼬리를 무는 에이전트 짓거리 만드는 데도 안 쓴다.
커스텀 하네스는 따로 있는데, 뭐 너희는 별로 관심 없겠지.
수치는 아래에 있고, 내가 이걸 어디에 써먹는지도 적어놨다. 결론부터 말하면, 예전엔 프론티어 모델이 필요했던 작업들을 이제는 내가 직접 쳐낼 수 있게 됐다. 기존 LLM 워크플로우의 50~60%는 이 모델로 대체 가능할 것 같고, 속도도 채팅창에서 claude code 돌리는 거랑 비슷하다. DGX Spark 2개로 돌리는 DeepSeek 서버가 하나 더 있어서 동시 작업이랑 핸드오프도 된다. 내 RAG 데이터베이스랑 툴 호출 같은 것들도 다 연결해서 잘 돌아간다. 윈도우 PC에서 SSH로 디스코드 스타일 인터페이스를 통해 자연어로 명령도 내릴 수 있다.
해냈다, 얘들아. 바이브코딩(Vibecoded)으로 진짜 사람들을 위한 진짜 결과물을 만들어냈다. 상 내놔라.
Repo: https://github.com/ProprietaryLegal/Volta-sPLIt-DeepSeek-V4.1-Flash-1017-8xV100-SXM2-PP2xTP4
트위터: nicothegreco
Claude Code로 벤치마크 돌려서 수치 뽑아봤는데, 아래에 아주 상세하게 적어놨다.
TL;DR: 8x V100-SXM2-32GB에서 돌리는 DeepSeek-V4.1-Flash-1017 (ISTA-DASLab의 2-bit GSQ-RCO IQ2_XXS GGUF 버전), 파이프라인 2 x 텐서 4로 쪼개서 NVLink 보드 두 개에 올렸다. 모든 전문가(expert)가 VRAM에 상주해서 디코드 중에 시스템 RAM으로 페이징되는 일은 없다. (수정: 처음에 가중치 248.8GB가 전부 VRAM에 있다고 했는데 틀렸다. 110GB짜리 Engram 테이블은 시스템 RAM에 있다. 매 라운드마다 행을 가져오는 데 라운드당 0.12ms 정도 걸린다.) 한 번에 요청 하나씩, 요청당 컨텍스트 524,288 토큰이다. GPU에 공간이 남아서 KV 캐시 사이즈를 3천만까지 늘릴 수도 있는데, 실제로 돌리는 작업들이 컨텍스트 200k를 넘기는 일이 거의 없어서 굳이 자랑은 안 하련다.
