Deepseek V4 Flash 0731을 사용하는 가장 좋은 방법은?

저도 같은 상황이에요. 지금은 그냥 OpenRouter 쓰고 있어요. 너무 저렴해서 굳이 제일 싼 걸 찾으려고 애쓰지 않아도 될 정도예요. 나중에 고민하려고요. 이것저것 써봤는데 70센트밖에 안 썼네요.

장기적으로는 Deepseek가 Luna보다 더 낫거나 싼지 보려고요. 둘이 꽤 비슷해 보이거든요. 복잡한 작업할 때 보통 5.6 Sol medium을 써요.

제 프로젝트에서 좀 더 어려운 질문들로 새로운 ChatGPT 모델들을 테스트해 봤어요. 결국 Pi에서 부모 모델로 Terra High를 쓰기로 결정했죠. Terra Max나 Luna High랑 품질은 같은데, 속도 면에서 Terra High가 가장 균형 잡혀 있더라고요. Luna로 시작해서 상황이 어려워지면 Terra나 Sol로 올리는 멀티 모델 워크플로우를 시도해 봤는데, 모든 모델이 스스로 판단을 내려야 한다는 걸 인식하는 데 어려움을 겪는 것 같았어요...

저도 같은 걸 조사 중이에요. OpenRouter에서 Deepseek를 가져와서 Claude 코드 하네스에 연결했어요. 2x 3090 로컬 환경이면 성능은 괜찮을 텐데, 전체 모델을 돌리려면 64GB RAM이 필요할 거예요(아마 128GB?).

그럼 퀀트 수치가 낮아지고 속도도 꽤 느려지지 않을까요? 남는 RAM이 별로 없거든요. 64GB인데 Unraid 머신이라 도커를 많이 돌려서 실제로는 20~24GB 정도만 남아요. RAM을 늘릴까 생각도 해봤는데, 모델 출력에 한 세월 걸린다면 그냥 클라우드 쓰는 게 나을 것 같아요.

PC에 RAM이 얼마나 있으신가요? 전 RTX 카드 두 개 합쳐서 40GB인데 제 머신에서 Unsloth 퀀트로 돌리고 있어요. 64GB RAM이 있다면 집에서 IQ3_XSS 버전을 시도해 볼 수 있을 거예요.

다만, Deepseek 채팅 템플릿(혹은 부재)과 llama.cpp 관련해서 아직 업데이트가 진행 중이라는 점은 알아두세요.

호스팅을 원하신다면, 공식 Deepseek는 캐시 미스 입력 100만 토큰당 14센트, 출력 100만 토큰당 28센트이고 최대 1M 컨텍스트까지 지원해요.

64GB는 있는데, 작업이 많은 Unraid 머신이라 다른 거 다 빼고 나면 가용 VRAM은 20GB 정도예요. 128GB까지 늘릴까 고민 중이긴 해요.

Q3에서 문제점은 없나요? MOE Apex 빌드 몇 개 빼고는 Q5 이하로는 안 쓰려고 노력 중이거든요. 최신 Deepseek 같은 Q3, Q2 대형 모델이 Q6-Q8 Qwen 3.6 27b나 그런 고퀀트 모델보다 나을까요?