r/LocalLLaMA•5일 전•75•30

로컬 AI 입문기: 채굴용 BC-250 APU 2개로 Qwen3.6-35B-A3B Q4_K_M 모델 60 tok/s, 64k 컨텍스트 구동

My foray into local ai. Two BC-250 ex mining apus running Qwen3.6-35B-A3B Q4_K_M at 60 tok/s with 64k context

핵심 요약

채굴용 APU를 활용해 저렴한 비용으로 로컬 AI 환경을 구축한 사용자의 실험적인 빌드 공유.

가성비 빌드 — 보드당 115달러로 총 300달러 미만의 비용으로 로컬 AI 환경 구축함
하드웨어 구성 — BC-250 채굴용 APU 2개를 llama.cpp, Vulkan, RPC로 연결하여 사용함
성능 지표 — 27GB GPU 메모리로 60 tok/s 속도와 64k 컨텍스트를 확보함
향후 계획 — 보드를 6개까지 확장하여 더 큰 모델 구동을 시도할 예정임

이 보드 하나당 115달러씩 줬고, Bazzite에서 Vulkan이랑 RPC 써서 llama.cpp로 연결해 놨음. 보드들 합치면 GPU 메모리 대충 27GB 정도 나오고 1gb 이더넷으로 통신함. 파워 서플라이까지 다 해서 300달러 정도 들었는데 성능 아주 만족스럽다. 몇 개 더 있으니까 6개 연결해서 qwen 3.8 flash 돌리면 어떤지 한번 보려고.

원문

커뮤니티 목록

r/LocalLLaMA•5일 전•75•30

로컬 AI 입문기: 채굴용 BC-250 APU 2개로 Qwen3.6-35B-A3B Q4_K_M 모델 60 tok/s, 64k 컨텍스트 구동

My foray into local ai. Two BC-250 ex mining apus running Qwen3.6-35B-A3B Q4_K_M at 60 tok/s with 64k context

핵심 요약

채굴용 APU를 활용해 저렴한 비용으로 로컬 AI 환경을 구축한 사용자의 실험적인 빌드 공유.

가성비 빌드 — 보드당 115달러로 총 300달러 미만의 비용으로 로컬 AI 환경 구축함
하드웨어 구성 — BC-250 채굴용 APU 2개를 llama.cpp, Vulkan, RPC로 연결하여 사용함
성능 지표 — 27GB GPU 메모리로 60 tok/s 속도와 64k 컨텍스트를 확보함
향후 계획 — 보드를 6개까지 확장하여 더 큰 모델 구동을 시도할 예정임

주요 댓글

r/localllama

작성자의 독특한 로컬 AI 구축 방식에 대해 사용자들은 성능 측정 조건, 전력 소모, 병렬 처리 방식 등에 큰 관심을 보이고 있습니다.

덕테이프로 고정한 팬이 마음에 드네요. 핀은 안 펴셨나요?

네, 이 핀들 제거하는 데는 아주 도사가 됐습니다 ㅋㅋ

대박이네! 아이들 상태일 때 전력 소모는 어느 정도야?

내 건 이렇게 깔끔하지 않은데, 잘했네.

이런 독특한 빌드들 너무 좋아요. 6개 연결해도 꽤 괜찮은 성능 나올 것 같네요.

감사합니다! 보드 추가하면서 계속 후기 올릴게요. 1,000달러 미만으로 꽤 흥미로운 빌드가 될 것 같은데 한번 지켜보죠.

대단하시네요. 저도 한번 해보고 싶어지는데요...

감사합니다! 정말 재밌게 하고 있어요. 6개 보드 다 연결해서 괴물 같은 시스템 만들면 다시 보고할게요 ㅋㅋ

Qwen 3.8 27B도 한번 돌려봐 줘. 어느 정도 tok/s 나오는지 궁금하네.

난 BC250 하나로 코딩할 때 18.5 tok/s, 글쓰기 할 때 10 tok/s 정도 나오네. Unsloth의 iq3_xxs랑 Vulkan 쓴 순정 llama.cpp 빌드(b10487) 사용 중임.

~/llama.cpp/build/bin/llama-cli -ngl 99 --no-mmap -fa 1 -c 40000 -b 2048 -ub 512 --cache-type-k q8_0 --cache-type-v q8_0 --spec-type draft-mtp --spec-draft-n-max 4 --chat-template-kwargs {"reasoning_effort":"medium"} -m ~/models/Qwen3.8-27B-UD-IQ3_XXS.gguf

60 tok/s가 64k 컨텍스트를 꽉 채운 상태에서 나오는 거야, 아니면 짧은 프롬프트에서 나오는 거야? 1gb 이더넷을 통한 RPC는 보통 프롬프트 처리할 때 병목이 먼저 보이거든.

64k 컨텍스트 정도일 때 그 정도 속도 나오는 거임. 짧은 프롬프트 쓰면 80 tok/s 정도 나옴.

원문r/LocalLLaMA