우리 진짜 다 해낼 수 있는 거 맞지? 3090 2장 구성.

3060 4장으로도 꽤 괜찮은 결과 나옴. llama.cpp로 Qwen 3.6 35B Q8 모델 돌리는데 70t/s 정도 나옴.

걔네도 다 알고 있어서 하드웨어 쪽이 못 따라오는 거임. 결국 RAM 부족 사태 시작한 건 OpenAI지 제조사가 아님(뭐 처음엔 그랬어도 지금은 공범이지). 경쟁사들이 2000년대식 마이크론 가격 담합을 고소 안 하는 이유도 이거 때문임. RAM이 충분했으면 걔네 몇 년 안에 다 망했을 거거든. 제조사들이 수요 맞추려고 공급 늘리기보다 지금의 마진율을 유지하려 한다면 내 가설이 맞는 거임.

우리가 기존 하드웨어를 억지로 LLM 인터페이스용으로 쥐어짜고 있다는 게 문제의 일부지.

미국이 중국 GPU 규제한 덕분에 중국 AI 연구소들이 최적화에 더 매달린 것도 한몫했다고 봄.

내가 사는 캐나다에선 쓸만한 3090이 1100달러 정도 해. 지금은 24GB VRAM만 달렸다 하면 다들 쓸어가는 시대지. 최악의 시나리오는 제조사들이 이걸 보고 24GB 이상 VRAM을 탑재한 GPU를 더 안 내놓는 거야. 다들 집에서 Claude Opus를 공짜로 돌릴 수 있게 되면 자기들 장사에 직접적인 타격이 올 테니까.

작년엔 별로였는데 3.6 MoE 모델은 이제 내 주력 도구임. 깃허브의 비싼 요금제 대신 쓸 수 있는 완벽한 코딩 파트너임.

Qwen 2.5 coder가 진짜 최고였지.

2023년 중반에 7B 모델에 수동으로 챗 템플릿 넣던 시절 생각남. Mistral 나오고 나서 Frankenmerge 대전도 있었지. Qwen 3.5 9B랑 비교해보고 싶네.

어떤 경로로 갈지 정하기만 하면, AI한테 3060용 셋업 파일 짜달라고 하면 될 듯.

저 레포 참고해서 나도 5060ti로 하나 맞춰봐야겠다.