새로운 추론 엔진들을 따라가기
Keeping up with new inference engines
핵심 요약
쏟아지는 새로운 추론 엔진 속에서 무엇을 사용해야 할지, 어떻게 최신 흐름을 따라가야 할지 고민하는 사용자의 질문입니다.
- 추론 엔진 과부하 — 매주 쏟아지는 새로운 엔진들로 인해 학습과 적응에 피로감을 느낌
- 생산성 논쟁 — 도구 최적화에 매몰되기보다 실제 작업에 집중해야 한다는 조언
- 엔진 추천 — 하드웨어 사양에 따라 Strata, Basalt, Exl3 등 특정 엔진을 선호함
- 최신 트렌드 — Qwen Flash Next 모델과 이를 지원하는 고성능 엔진들이 주류로 부상함
다들 안녕,
원어민이 아니라서 틀린 거 있으면 지적 좀 해줘! 그래야 배우지.
내가 처음 시작했던 2025년 3월만 해도 선택지는 이거였어:
-
llama.cpp
-
ollama (쓰기 편하게 llama.cpp 재포장한 거)
-
koboldcpp (롤플레잉용으로 llama.cpp 재포장한 거)
-
vllm (전문적인 배포용)
-
exl3 + tabbyapi (최신 기술 맛보기용)
-
litert (모바일 기기용)
요즘은 다들 자기만의 걸 만드는 거 같아. Strata, Basalt, Maya, Colibri, Ninfer, Infernix... 너무 많아서 일일이 나열하기도 벅차고, 솔직히 따라가기가 너무 힘들다.
게다가 발전 속도는 또 어떻고. llama.cpp는 매주 미친 듯이 개선되는데, 어떻게든 Qwen3.8-Flash-Next랑 DeepSeek-v4.1-Flash-1017을 64GB RAM + 32GB VRAM에서 돌리게 만들더라고. 물론 새로운 추론 엔진들로 돌리면 대가가 따르긴 하지(보통 품질이 개판임).
개인적으로는 발전 속도가 너무 빨라서 그냥 llama.cpp에 정착했어.
llama.cpp v0.8.0으로 듀얼 RTX 5060 Ti 16GB(PCIE 5.0 x8x8, 텐서 병렬, MTP 없음)에 듀얼 48GB DDR5-6000MHz 꽂아서 Qwen3.8-Flash-Next Q4_K_XL (unsloth) 돌리면 15t/s 정도 나오는데, 적어도 품질은 괜찮다는 건 보장되니까.
근데 다들 뭐 써? 이 속도를 도대체 어떻게 다 따라가는 거야? 그리고 새로운 추론 엔진들이 속도나 자원 효율을 위해 품질을 희생하는 거, 진짜 그럴 가치가 있다고 봐?
