맞춤형 추론 엔진은 과대평가된 걸까? R9700 2개로 돌려본 Strata 경험담
Are bespoke inference engines overhyped? My Strata experience on 2× R9700
핵심 요약
맞춤형 추론 엔진 Strata를 사용해 본 작성자가 기존 llama.cpp 대비 실질적인 성능 이득이 없다고 지적하며 의문을 제기함.
- 성능 회의론 — 맞춤형 엔진이 기존 스택 대비 실질적 이득이 적음
- 하드웨어 병목 — 시스템 메모리 대역폭과 CPU 성능이 중요하게 작용함
- 설정 복잡성 — 모델별 엔진과 포크 버전, 환경 변수 설정이 번거로움
- 벤치마크 신뢰도 — HumanEval 결과가 실제 체감 성능과 다를 수 있음
내 목표는 최소한 qwen 3.8 27b Q8 MTP랑 동급이면서 컨텍스트는 더 큰, 이상적으로는 1M 정도 되는 셋업을 찾는 거였음.
이미 llama.cpp로 Next Flash Q2를 돌리고 있었는데, 대화용으로는 괜찮아도 코딩용으로는 영 아니더라고. Q4는 돌아가긴 하는데 너무 느리고. 여기 게시판에서 strata랑 qwen next flash 조합 성능 좋다는 글을 많이 봐서, 둘 다 나온 지 좀 됐으니 안정화됐겠거니 하고 한번 시도해 봤지.
근데 결과는 진짜 개실망임. 고작 Q3으로 올린 게 전부야. 대체 엔진 찬양하는 글들이 그냥 거품이거나 특수한 케이스만 다룬 건가 싶더라. 나한테는 딱 그렇게 보임.
내가 시도한 세부 사항은 이래:
카드 두 장에 전문가 모델을 RAM으로 오프로드: 설정 이것저것 다 건드려봐도 긴 작업만 시키면 무조건 멈춤.
모든 전문가 모델이 VRAM에 다 들어갈 때만 안정적: 64GB 기준으로는 3-bit 양자화가 한계임.
수치상으로는 더 빠름: llama.cpp 대비 ~60 t/s 정도 나오거든. 근데 HumanEval+ 돌려보니까 3-bit Flash-Next는 93.9% 나왔는데, 그냥 llama.cpp에서 돌린 Qwen3.8-27B Q8은 95.1% 찍음. 심지어 결과 내는 데 토큰도 거의 두 배나 더 처먹더라. 장점이라곤 1도 없음.
결국 나한테는 검증된 스택보다 나은 점이 하나도 없다는 소리임. 안정적인 엔진 하나 쓰는 대신, 모델 하나 전용 엔진에, 포크 버전, 특수 양자화, 환경 변수 설정질까지 온갖 삽질만 해야 함.
이게 그냥 Strata가 아직 초기 단계라 그런 거냐, 아니면 구조적인 문제냐? llama.cpp나 vLLM 대신 이런 모델 전용 엔진 써서 실제로 유의미한 이득 본 사람 있긴 함?
