GPU 부자 변호사, 5편: 2018년산 V100 8대로 DeepSeek-V4.1-Flash 구동하기
Lawyer with too many GPUs, part 5: DeepSeek-V4.1-Flash at near-NVFP4 quality on eight V100s from 2018. 524K context, 100+ tok/s decode, ~160 tok/s with two chats at once, and my legal harness now runs on it, 100% local
핵심 요약
변호사가 V100 8대를 활용해 DeepSeek 모델을 로컬에서 고성능으로 구동하는 법률 보조 시스템을 구축했습니다.
- 로컬 법률 시스템 — Claude 대신 DeepSeek를 활용한 100% 로컬 법률 보조 환경 구축함
- 하드웨어 최적화 — V100 8대와 NVFP4 양자화를 통해 524K 컨텍스트와 100+ tok/s 속도 달성함
- 전문가 라우팅 — 자주 사용하는 전문가 모델을 NVFP4 정밀도로 상주시켜 성능과 효율을 최적화함
- 엔터프라이즈급 성능 — 상용 솔루션이 없는 독자적인 워크플로우를 구축해 실질적인 생산성 향상을 이룸
2026년 2월부터 7월쯤까지, Claude를 좀 더 예측 가능하게 만들려고 'legal harness(법률적 제어 장치)'를 짜는 데 시간을 엄청나게 쏟아부었어. 꽤 잘 돌아가더라고. 그래서 로컬 모델에서도 똑같이 돌려보려고 시도했는데, 그건 실패했지. 그러다 Opus가 미친 듯이 성능이 좋아지면서 내가 눈치채지도 못하는 사이에 내 제어 장치를 그냥 건너뛰어 버리더라고. 지금도 훅(hook)이 달린 제어 장치를 쓰긴 하는데, 예전보다 훨씬 느슨해졌어.
그 기간 동안 로컬 모델 돌리려고 하드웨어를 엄청나게 사들였고, 로컬 모델용 legal harness를 'vibecode(직관적 코딩)'로 구현하려고 수없이 삽질했지. 실패도 많았고 배운 것도 많았어.
어쨌든, 최근 3주 동안 상황이 급변했어:
-
DeepSeek Flash 1017이 나왔는데, Opus 4.5/4.6이랑 비슷하게라도 비벼볼 수 있는 첫 모델이야.
-
Opus 5.5랑 Fable 5.2가 내 하드웨어에서 DeepSeek를 빠르게, 대용량 컨텍스트로, 고정밀도로 돌릴 수 있게 세팅해 줘. 최적화, 커스텀 커널, 리퀀타이제이션(requant)까지 다 알아서 해줌.
-
Opus 5.5(랑 내 프롬프팅 실력)가 이제 Claude용 제어 장치를 DeepSeek용으로 바꿀 수 있을 만큼 좋아졌어.
-
최상위 모델(frontier)만큼은 아니지만, 지금 당장 100% 로컬로 완벽하게 돌아가. 실제로 생산성이 올라갔고, 진짜 실무 작업들을 대체하고 있어. DeepSeek 채팅 인터페이스도 Claude 쓸 때랑 똑같이 작동해.
-
내 스택이랑 하드웨어 자랑 좀 하자면:
-
DGX Spark 2대가 있어서 DeepSeek 세션 3~4개를 에이전트로 동시에 돌릴 수 있어 (1M 컨텍스트).
-
V100 8장으로 NVFP4 품질에 거의 근접한 DeepSeek를 돌리고 있는데, 컨텍스트 500K에 디코드 속도 100+ tok/s, 동시 작업 시 160 tok/s 정도 나와.
-
V100 8장이랑 512GB 3200 MHz ECC RAM이 박힌 Rome 서버가 하나 더 있어서, 추가 에이전트나 병렬 작업용으로 고정밀 DeepSeek를 하나 더 돌릴 수 있어.
진짜 놀라운 건 Fable이 커스텀 Volta 커널을 짜는 수준이야. 내 legal harness가 작동할 때 실제로 활성화되는 전문가 모델(experts)을 기반으로, 내 전문가 모델들을 NVFP4 정밀도로 리퀀타이제이션 해버리거든. 이건 그냥 장난감이 아니라, 진짜 최적화된 프로덕션급 워크플로우 대체용 로컬 셋업이야.
