llama.cpp의 엄청난 발전
llama.cpp has come a long way
핵심 요약
지난 1.5년간 로컬 LLM과 llama.cpp가 비약적으로 발전하며 하드웨어 활용도와 성능이 크게 향상되었습니다.
- 로컬 LLM 발전 — 1년 반 만에 성능과 추론 속도가 비약적으로 향상됨
- 하드웨어 최적화 — 듀얼 GPU 구성과 텐서 병렬 처리로 로컬 구동 효율 극대화
- llama.cpp 기능 — MTP 및 텐서 분할 도입으로 실사용 가능한 속도 확보
- 사용자 경험 — 클라우드 의존도를 낮추고 로컬 환경에서 복잡한 작업 수행 가능
다들 안녕,
내 모국어는 영어가 아니라 네덜란드어인데, 도움 없이 내 방식대로 글을 써봤어. 문장이 좀 어색하거나 이상한 부분이 있으면 알려줘.
아는 친구가 2025년 1월쯤에 로컬 AI가 얼마나 대단한지 얘기해 줬는데, 난 10년 동안 직접 코딩하는 걸 자부심으로 삼던 회의론자였거든. 내가 좀 고집불통인 걸 알기도 하고, 그래도 일단 한번 알아는 보자는 생각에 시도해 보기로 했지.
2025년 3월에 처음 시작할 때는 AMD Radeon RX 7800 XT 16GB에서 ollama랑 lmstudio를 써서 Mistral Nemo Q4_K_M에 8K F16으로 돌렸어. 컴퓨터랑 대화가 가능하고, 심지어 그게 제대로 대답까지 한다는 사실에 진짜 충격받았지.
내 취미 중 하나가 TTRPG인데 친구들이랑 시간 맞추기가 힘들어서, SillyTavern이랑 koboldcpp로 한번 해보기로 했어. 처음엔 할 수 있는 게 별로 없었지만, 내가 만든 상상 속 이야기를 역할극으로 풀어내는 게 진짜 재밌더라고. 그때부터 쭉 SillyTavern을 쓰고 있는데, 점점 비디오 게임 하는 시간을 이걸로 대체하고 있어.
Mistral Small 3.2는 진짜 대박이었고, Magistral Small 2507 Vision Rebased frankenmerge는 꿈이 현실이 된 것 같았어. 추론이랑 비전 기능을 로컬 모델 하나에서 동시에 쓸 수 있다니! 그때부터 llama.cpp도 쓰기 시작했지. 보통 Magistral Q4_K_S에 16K Q8_0 컨텍스트로 15 t/s 정도 나왔어.
9월쯤 되니까 로컬 LLM에 최적화하려고 PC 업그레이드를 하고 싶더라고. 경제적인 측면에서 RTX 3060 12GB 두 개를 꽂는 게 추천받았는데, 당시 RTX 5060 Ti 16GB는 너무 비싸다는 인식이 있었거든. "BF16 이상이 왜 필요해? FP8은 VLLM에나 유용하지"라는 게 당시 흔한 통념이었어. RTX 3090 두 개도 자주 추천받았지만, 우리 동네 시세로는 예산을 너무 초과해서 패스했지.
결국 ASUS ProArt X870E에 ASUS PRIME RTX 5060 Ti 16GB 두 개를 박는 도박을 했어. VLLM이 텐서 병렬이랑 MTP를 지원하면, 결국 llama.cpp도 지원하게 될 거라는 계산이었지. PCIE 5.0 x8x8을 쓰면 나중에 텐서 병렬 지원될 때 가성비가 제일 좋을 것 같았고, NVFP4/MXFP4도 있으면 유용할 것 같았거든.
부품은 가격 오르기 전에 미리미리 다 사뒀고, 마지막 부품이 2026년 1월에 도착했어. 1월 당시 속도는 Gemma 3 27B Q8_0 레이어 분할 기준으로 ~20 t/s 정도 나왔어. RTX 5060 Ti 16GB 하나만 썼을 때는 RX 7800 XT보다 살짝 느렸지만, Ministral 8B 2410을 돌릴 때 전력 효율은 두 배(100W vs 200W)였지.
Gemma 4 31B 출시됐을 때는 진짜 난리도 아니었는데, 처음 몇 주 동안은 버그가 좀 많았어. Q6_K에서 17 t/s 생성, 32K BF16에서 970 t/s pp가 나왔지. 감성 지능이나 역할극 능력 면에서 DeepSeek v3.2랑 비빌 정도로 진짜 재밌게 썼어. 이때 깨달았지. 프로그래밍(.NET 8.0) 빼고는 굳이 클라우드 LLM 쓸 일이 없겠구나 싶더라고.
2026년 6월쯤 Gemma 4 31B IT QAT가 나오면서 llama.cpp에 텐서 분할이랑 MTP가 도입됐고, 웹 인터페이스도 싹 바뀌었어. 그때부터 텐서 분할이랑 MTP를 둘 다 쓰기 시작했는데, 이제 40 t/s 생성에 980 t/s pp가 나오더라. llama.cpp가 가끔 뻗긴 했지만, 속도 향상 생각하면 그 정도는 감수할 만했지.
Qwen3.8 27B가 나오면서 코드 퀄리티가 Qwen3.5/3.6 xhigh보다 훨씬 좋아져서, 이제 내 모든 작업에서 클라우드 LLM 의존을 완전히 끊을 수 있게 됐어. llama.cpp에서 속도는 대충 50 t/s 생성, 1200 t/s pp 정도 나왔지.
지금 0.7.0 버전에서는 Gemma 4 31B IT QAT로 보통 60 t/s 생성, 1100 t/s 처리가 넘어. Qwen3.8 27B는 더 빨라서 추론할 때 70 t/s(mtp 사용, ngram draft 미사용), 코드 짤 때는 100 t/s까지 나와.
지난 1년 반 동안 기술이 발전하는 걸 지켜보는 게 진짜 경이로웠어. 모델도, llama.cpp도 다들 미친 수준으로 좋아졌거든.
한 가지 변하지 않는 건, 규제나 AI 연구소 관련해서 맨날 망할 거라고 떠드는 놈들은 항상 틀렸다는 거야. 그리고 미래가 어떻게 될지는 진짜 아무도 모른다는 거지. 하드웨어 가격이랑 수급 문제만 빼면, 지금까지는 상상 이상으로 놀라운 일들뿐이었어.
