NVIDIA RTX 6000 PRO 96GB VRAM으로 할 수 있는 재밌는 것들

왜 35B를 돌리는 거야? 27B가 모든 면에서 더 나은데, mtp를 쓰면 단일 세션에서 100+ t/s 속도로 돌릴 수 있어. 그리고 에이전트 12개를 돌려서 너한테 필요한 걸 찾게 할 수도 있지. 그리고 나 지금 술집에서 막 돌아와서 취했어. 참, 그리고 어떤 상황이길래 '동료'가 11,000달러짜리 GPU를 그냥 주는 거야?

내가 가진 방대한 데이터로 RAG를 하려고 임베딩, 추론, 리랭킹 모델을 전부 로컬로 셀프 호스팅할 수 있을까? 진짜 대박일 것 같아! 그게 내가 관심 있는 분야인 것 같아.

가슴은 더 크게, 엉덩이는 더 빵빵하게 만들어봐.

본인이 어떤 방향을 원하는지 모르면 여기서 원하는 답변 얻기 힘들 거야. 다들 비슷하게 너무 광범위한 질문을 올리는데, 이 서브레딧은 주로 기초에서 중급 수준의 inference를 다루지, 더 고급이나 복잡한 ML 프로젝트를 다루는 곳은 아니거든. 아마 다른 서브레딧이 있을 텐데 잘 모르겠네. 나도 여기 온 지 얼마 안 돼서 틀릴 수도 있어. 그래도 다른 사람들 의견도 한번 봐봐, 운이 좋으면 얻을 수도 있으니까.

가능할 거야. 나는 지금 Hermes Agents postgresql 데이터베이스랑 RAG용으로 작은 Qwen3-VL-2B embedding 모델만 돌리고 있는데, 용량만 되면 8B를 쓰는 게 나을 거야. 2B rerank Qwen3-VL 모델은 내가 간단히 테스트해봤을 때 정확도가 별로라서 바로 버렸거든. RAG를 본격적으로 파본 건 아니지만, 네가 하려는 걸 실제로 하는 사람들은 분명히 있어. 96GB VRAM이면 embedding이랑 rerank 모델, 그리고 Qwen3.6 같은 거 돌리기에 충분해.

정확히 어떤 용도로? qwen3.6-35B-A3B 써봤는데 Claude만큼 좋지는 않던데.

27b가 훨씬 나아. antirez/ds4도 한번 봐봐. 2 bit ds4 flash가 작동할 가능성도 있어.