6,400달러짜리 로컬 LLM 서버 구축 비용 분석

이런 거 정리해 둔 글을 본 적이 없어서, 혹시라도 도움 될까 싶어 내 경험을 공유해 본다. 이 글의 목적은 내 로컬 LLM 서버의 총 소유 비용(TCO)과 API를 썼을 때의 비용을 비교하는 거다. 최종 숫자를 보기 전에 알아둬야 할 게 있는데, 대부분의 사람들은 하드웨어 비용을 제대로 계산하지 않는다는 점이다. 다들 하드웨어 비용을 그냥 '다 썼다'고 치부해 버리는데, 사실 하드웨어는 가치가 천천히 떨어지거나 오히려 시간이 지나면 오르는 경우도 있거든. 이게 TCO 결과에 엄청난 차이를 만들고, 왜 내 계산 결과가 남들이 말하는 것보다 훨씬 나은지 설명해 준다.

하드웨어

일단 구매한 하드웨어 가격부터 까본다:

• 중고 4x MI100 32GB: $4234.82
• 신품 ASRock EPYCD8-2T: $721.61
• 신품 1600W 80+ Plat 파워: $497.95
• 중고 8x8GB DDR4 ECC RDIMM: $348.79
• 중고 Epyc 7k62 48코어 CPU: $254.28
• 신품 CPU 쿨러: $167.31
• 신품 ATX 케이스: $132.43
• 블로워 팬용 SATA to USB 전원 케이블 4개: $28.56
• GPU용 75x30mm 블로워 팬 4개: $13.76
• 블로워 팬 고정용 플라스틱 판: $6.94
• 스토리지는 굴러다니던 1TB M.2 드라이브: 공짜

총 가격: $6406.45

구성

현재 서버는 llama.cpp 인스턴스 4개를 띄워서 Qwen3.6 27B를 돌리는 중이다. 우분투에 최신 ROCm 환경이고. 모든 부품을 저전력 세팅으로 돌리고 있는데, 현재 워크로드 기준으로 하루에 입력 토큰 2040만 개, 출력 토큰 132만 개를 처리한다. 실제로 이 토큰 용량을 전부 비즈니스 프로세스에 쓰고 있다. 토큰 출력량이 생각보다 적은데, 이건 아래 노트에서 다시 다루겠다.

API 사용 시 비용

OpenRouter에서 Qwen3.6 27B는 현재 입력 토큰 100만 개당 $0.29, 출력 토큰 100만 개당 $3.2다. 즉, 지금 내 처리량은 하루에 입력 $5.92, 출력 $4.22 해서 총 $10.14어치라는 소리다.

이걸 1년으로 치면 API 비용은 $3701.10이고, 한 달에 $308.43 꼴이다.

API 비용: 연간 $3701.1

코딩 플랜과의 비교

이건 다른 방식으로 수치화하기 어렵고 유용할 것 같아서 넣어봤다. 같은 비즈니스 프로세스를 위해 Z.AI 코딩 플랜도 API 공급자로 쓰고 있거든. 그래서 걔네가 토큰을 얼마나 주는지 측정해서 비교해 볼 수 있다. 난 ZAI의 최고 요금제(월 $144)를 쓰는데, 하루에 GLM 4.7 모델로 입력 450만 토큰, 출력 20만 토큰 정도를 쓸 수 있다. 믿기 힘들겠지만 OpenRouter에서 GLM 4.7은 Qwen3.6 27B보다 저렴한 모델이고, 벤치마크상으로도 비슷해서 꽤 공정한 비교가 된다.

이걸 환산해 보면, 같은 용량을 쓰려면 한 달에 약 $652.8, 1년에 $7833.60이 든다. OpenRouter를 통해 GLM 4.7을 쓰거나 Qwen3.6 27B API를 쓰는 것보다 두 배 넘게 비싸다.

그러니 주의해라. 코딩 플랜이 항상 가성비가 좋은 건 아니다. 뭘 위해 돈을 내는지 확실히 알아야 한다. 난 연초에 할인할 때 결제해서 훨씬 싸게 썼으니 그나마 다행인데, 1년 지나면 절대 갱신 안 할 거다.

로컬 LLM 비용

전기세

서버를 저전력 세팅으로 맞춰놔서, LLM 풀로드 시 벽면 전력 소비량은 630와트다. 하루에 15.1kWh를 먹는 셈인데, kWh당 $0.14로 계산하면 하루에 $2.11이 나간다. $0.14는 나한테 최악의 조건이고, 실제로는 심야 요금이나 겨울철 요금 합치면 $0.08 정도지만, 정확한 계산이 어려워서 아주 보수적으로 잡았다.

이 높은 요금을 1년으로 치면 내 로컬 LLM 서버 전기세는 $770.15다.

로컬 LLM 비용: 연간 $770.15 또는 월 $64.18