Claude Code vs. Pi와 로컬 LLM (Qwen3.8-27B): RTX 5090에서 7-9 t/s vs. 40 t/s
Claude Code vs. Pi with a Local LLM (Qwen3.8-27B): 7–9 t/s vs. 40 t/s on an RTX 5090
핵심 요약
RTX 5090 환경에서 Claude Code보다 Pi를 사용했을 때 로컬 LLM 생성 속도가 4배 이상 빨라진 경험을 공유합니다.
- 성능 비교 — Claude Code 대비 Pi 사용 시 토큰 생성 속도가 7-9 t/s에서 40 t/s로 대폭 향상됨
- 하드웨어 사양 — RTX 5090(32GB VRAM)과 64GB RAM을 활용한 로컬 LLM 환경 구축
- 설정 차이 — Claude Code Router의 오버헤드 여부와 Pi의 MCP 통합 방식에 따른 성능 차이 분석
- 커뮤니티 조언 — 하드웨어 성능 대비 낮은 수치에 대한 최적화 제안 및 다른 도구 추천
면책 조항: 이 글은 가독성과 서식을 개선하기 위해 AI의 도움을 받아 다듬었습니다.
경험, 설정, 결과는 모두 제 개인적인 것입니다.
상황: UE5 MCP 플러그인용으로 사용 중
코딩 보조용으로 로컬 AI 모델인 Qwen3.8-27B를 돌려보고 있는데, 로컬 LLM 쓰는 다른 사람들에게도 도움 될까 싶어서 결과 공유함.
처음에는 로컬 모델에 Claude Code를 물려서 썼는데, PC 사양이 꽤 좋은데도 속도가 **초당 7~9 토큰(t/s)**밖에 안 나오더라.
Claude Code가 컨텍스트 사용량도 많고 오버헤드가 좀 심해서, 상황에 따라선 좋겠지만 내 작업 방식에는 굳이 필요 없는 것 같아서 대안을 찾아봤음.
그러다 Pi를 발견함.
pi-mcp-adapter로 세팅하고 나니까 같은 모델, 같은 하드웨어인데도 생성 속도가 **초당 40 토큰(t/s)**까지 치솟아서 깜짝 놀랐다.
내 세팅 상세 내용은 아래와 같음.
🖥️ 내 하드웨어
-
GPU: NVIDIA RTX 5090 — 32 GB VRAM
-
RAM: 64 GB
-
스토리지: 4 TB NVMe M.2 SSD
-
읽기: 14,800 MB/s
-
쓰기: 13,400 MB/s
-
⚙️ 설정 1: Claude Code + Claude Code Router
도커 컨테이너 두 개를 돌렸음:
-
llama.cpp:
ghcr.io/ggml-org/llama.cpp:server-cuda -
Claude Code Router (CCR):
musistudio/claude-code-router:latest
CCR이 호환성 문제 해결해 준다길래, Claude Code에서 오는 API 요청을 로컬 llama.cpp 서버로 쏴주는 용도로 썼음.
요청 흐름:
Claude Code (PC) → CCR → llama.cpp → Qwen3.8-27B
확인된 생성 속도: ~7–9 t/s
⚡ 설정 2: Pi + 로컬 LLM
두 번째 설정에서는 Pi로 갈아타고 pi-mcp-adapter를 써서 필요한 툴들을 통합했음.
세팅 구성:
