r/LocalLLaMA•3개월 전•10•38
40B+ 파라미터 모델 추천 부탁함
Best choice of model 40B+ Parameters
핵심 요약
40B 이상의 파라미터 모델 중 속도 저하 없이 성능이 좋은 모델을 찾는 중임.
- 모델 성능 고민 — 현재 사용하는 Qwen3.6 35B의 일반 지식 부족과 실행 위주 성향을 개선하고자 함.
- 하드웨어 환경 — Strix Halo 환경에서 131k 컨텍스트 기준 30-40 t/s 속도를 유지하길 원함.
- 대안 탐색 — Qwen3.5 122B로의 전환을 고려 중이며, GGUF 포맷을 선호함.
- 커뮤니티 조언 — Deepseek V4 Flash나 MTP 모델 활용 등 다양한 대안이 제시됨.
현재 Qwen3.6 35B를 메인 어시스턴트 모델 겸 코딩 에이전트로 사용 중임.
그런데 가끔 기본적인 일반 상식을 놓칠 때가 있고, 어시스턴트라기보다는 실행기(executioner)에 가까운 느낌임.
그래서 더 큰 모델로 갈아탈까 생각 중인데, 속도는 잃고 싶지 않음.
Strix Halo 환경에서 사용 중임.
131k 컨텍스트에서 대략 30-40 t/s 정도 나옴.
Qwen3.5 122B로 바꿀까 고민 중임.
추천해 줄 만한 거 있음?
