나의 홈 데이터 센터

네, 주문하려고 엄청 고민했었어요. 그 VRAM 용량을 타겟으로 하는 더 나은 로컬 모델이 있었다면 벌써 하나 샀을 거예요. 그게 제 업그레이드 계획인데, 3090들을 처분하고 6000 Pro 하나로 갈아탈 생각입니다.

음, 뭘 하는지는 모르겠지만 27b를 q8, 16kv, 풀 컨텍스트에 mamba랑 sglang 얹으면 87gb 정도 먹을 텐데... 뭐 여러 작업을 병렬 처리하거나 동시에 돌아가는 워커를 만들 수는 있지. 기술적으로 그 모델 돌리는 데 96gb가 꼭 필요한 건 아니지만, 속도까지 챙기려면 그 정도는 있어야 함.

원래는 96gb 구성으로 120b 모델 돌릴 생각이었음. Qwen 27b가 OSS나 Nemotron 120b를 이길 줄은 몰랐지. 그래도 조만간 이 체급에서 더 좋은 모델들이 나오겠지. 지금은 Qwen 27b를 q6, 128k 컨텍스트(llamacpp)로 돌리는 중. 5070 두 장에서 VRAM 29gb 정도 먹음. 나머지 GPU들은 STT, TTS, CV용 모델들 돌리는 중임.

감사합니다 :) 측정은 안 해봤는데 전부 풀로 돌리는 경우는 거의 없어요. 언더볼팅이 성능 저하는 거의 없으면서도 큰 도움이 되거든요. 그리고 태양광 발전도 있어서 3kW 정도는 나옵니다.

저 프레임 모델이나 브랜드가 뭐야?

opencode랑 유출된 Claude 코드 기반으로 만든 커스텀 툴임. 깃허브 티켓 할당하면 독점 모델의 계획이랑 로컬 모델의 구현을 조합해서 처리하는 에이전트야. 지금은 보일러플레이트 코드 정도만 짜지만 점점 나아지고 있음.