r/LocalLLaMA•4개월 전•42•111

이런 질문 하기 싫지만: 70-80B 범위의 괜찮은 최신 코딩 모델 있을까요?

I hate to be this guy but: Any good, recent CODING models in the 70-80B range?

핵심 요약

3x 24GB VRAM 환경에서 사용할 만한 70-80B급 코딩 모델을 찾는 질문에, 사용자들은 최신 27B 모델들이 더 우수하다는 의견을 제시함.

하드웨어 제약 — 3x 24GB VRAM 환경에서 Q6 양자화와 256k 컨텍스트를 유지할 모델을 찾음
모델 성능 논쟁 — 80B 모델보다 최신 27B 모델이 벤치마크상 더 뛰어난 성능을 보임
에이전트 워크플로우 — 코딩 에이전트 활용 시 툴 호출 능력의 중요성이 강조됨
최신 대안 — Qwen 3.6 27B 모델이 Claude 등 상용 모델의 대안으로 언급됨

3x 24GB VRAM.

Qwen-coder-next는 나쁘지 않음. 계속 갈구면 계속 쓸 의향은 있음.
프론트엔드 작업을 많이 하는데, 워낙 빠르게 변해서 모델은 최신일수록 좋음.

80B보다 크면 괜찮은 수준의 Q6 양자화를 포기하거나, 코딩에 최소한으로 필요한 256k 컨텍스트를 포기해야 함.

최신 27-31B 밀집(dense) 모델이 80B 모델을 현실적으로 이길 수 있다고는 생각 안 함. 속도가 느린 걸 감수하더라도 말이지. 하지만 내 생각을 바꿔봐.
속도는 문제임. 난 YOLO(무작정 실행) 안 하거든. 에이전트를 엄청나게 마이크로 매니징함. 그냥 내버려 뒀다가 다음 날 잘못된 길로 가서 다시 처음부터 하는 것보다 이게 훨씬 효율적임.

원문

커뮤니티 목록

r/LocalLLaMA•4개월 전•42•111

이런 질문 하기 싫지만: 70-80B 범위의 괜찮은 최신 코딩 모델 있을까요?

I hate to be this guy but: Any good, recent CODING models in the 70-80B range?

핵심 요약

3x 24GB VRAM 환경에서 사용할 만한 70-80B급 코딩 모델을 찾는 질문에, 사용자들은 최신 27B 모델들이 더 우수하다는 의견을 제시함.

하드웨어 제약 — 3x 24GB VRAM 환경에서 Q6 양자화와 256k 컨텍스트를 유지할 모델을 찾음
모델 성능 논쟁 — 80B 모델보다 최신 27B 모델이 벤치마크상 더 뛰어난 성능을 보임
에이전트 워크플로우 — 코딩 에이전트 활용 시 툴 호출 능력의 중요성이 강조됨
최신 대안 — Qwen 3.6 27B 모델이 Claude 등 상용 모델의 대안으로 언급됨

3x 24GB VRAM.

Qwen-coder-next는 나쁘지 않음. 계속 갈구면 계속 쓸 의향은 있음.
프론트엔드 작업을 많이 하는데, 워낙 빠르게 변해서 모델은 최신일수록 좋음.

80B보다 크면 괜찮은 수준의 Q6 양자화를 포기하거나, 코딩에 최소한으로 필요한 256k 컨텍스트를 포기해야 함.

주요 댓글

r/localllama

80B 모델을 고집하기보다 최신 27B dense 모델들이 코딩 성능이나 에이전트 작업에서 훨씬 뛰어나다는 의견이 지배적입니다.

GLM은 진짜 새로운 Air 모델 좀 출시해야 함.

잠깐, 왜? 다들 2TB VRAM은 가지고 있는 거 아님? 🤔

GLM-4.5-Air는 128K 컨텍스트 제한이 있는 106B-A12B MoE 모델임. Q4_K_M과 최대 컨텍스트로 설정하면 128GB에 간신히 들어감. 2028년쯤 내가 가질 수 있을 법한 GPU(MI210 듀얼 생각 중)에 겨우 들어갈 크기라, 그때까진 대화형이 아닐 때 순수 CPU로 참을만하게 추론함. 느린 순수 CPU 추론치고는 높은 성능과 적절한 속도의 균형을 잡았음.

기존 Air 모델에 뭐가 문제임?

GLM-4.5-Air는 언급할 만한 툴 호출 능력이 없어서 에이전트 기반 코드 생성에는 부적합함. 에이전트 코딩은 툴 호출 능력에 결정적으로 의존하거든. 이거 다른 스레드에서 설명했던 것 같은데..?

GLM Air 파인튜닝 모델을 여러 개 가지고 있지만 코딩용으론 안 씀. 현재는 Qwen 3.6 27B를 pi랑 같이 쓰는데 문제 전혀 없음. 사실 Claude Code(Opus 사용)는 속도 때문에 짜증 나기 시작했음.

Qwen-coder-next 써봤는데 왠지 별로였음. 결과물이 안 좋더라고. 내 사용 방식 문제일 수도 있음. 27B는 여전히 매우 탄탄함.

3.5 122b도 nvfp4에서는 별로임.

400B 미만의 작은 모델들은 QAD(마지막 글자 주목) 같은 걸로 정확도를 복구하지 않는 이상 NVFP4에서 다 별로임. 엔비디아 말고는 아무도 안 함. 모델이 작을수록 효과도 더 나쁨.

흥미롭네. 아쉽게도 엔비디아가 테스트용으로 3.5 122B nvfp4를 만들어주진 않아서.

그냥 Qwen 3.6 27B로 내려가 봐, 후회 안 할걸.

-1

ㅇㅇ. Gemma4랑 Qwen3.5+ dense 모델 둘 다 코딩에 아주 좋아. 내 경험상 Devstral이나 Qwen Coder 같은 좀 된 전용 코딩 모델들보다 훨씬 정확하고 일관성 있음. 속도가 우선이면 두 모델 다 MoE 버전도 괜찮아. 난 간단한 참조나 보일러플레이트 코드 짤 땐 MoE 쓰고, 복잡한 메서드나 클래스 생성할 땐 dense 모델 써.

LeetCode 같은 작업엔 좋지만 에이전트 워크플로우에는 별로임.

Qwen-Coder-Next는 3.5/3.6/3.7 이전 계보에서 코딩에 더 집중하려고 시도했던 모델이야. 거기 들어간 연구 결과들은 이제 다 3.5+에 통합됐어. 주요 코딩/에이전트 벤치마크 보면 3.5+ 27B가 QCN 80B를 압살함. 셋 다 포함된 벤치마크 찾긴 힘들지만... Terminal-Bench Hard (AA.ai): QCN 80B 18%, 3.5 27B 33%, 3.6 27B 35%. SciCode (AA.ai): QCN 80B 32%, Qwen3.5 27B 40%, Qwen3.6 27B 37% (이건 좀 떨어졌네). SWE Bench Resolved: QCN 80B 70.6, 3.5 27B 72.4, 3.6 27B 77.2.

원문r/LocalLLaMA