r/LocalLLaMA•약 1개월 전•248•245

TielCoder의 22GB 4비트 양자화 모델, 최신 실무 코딩 문제에서 Opus 4.6 medium과 대등한 성능 기록, KAT-Coder와 Nail을 제치고 가장 강력하고 빠른 MoE 모델로 등극

TielCoder's 22 GB 4-bit quant matches Opus4.6 medium on recent real life coding issues, surpassing KAT-Coder and Nail as strongest and fastest MoE picks.

핵심 요약

TielCoder 35B-A3B 모델이 실무 코딩에서 뛰어난 성능과 속도를 입증하며 새로운 MoE 강자로 주목받고 있음.

성능 비교 — 실무 코딩 문제에서 Opus 4.6 medium과 대등한 성능을 보임.
최적화 기술 — 코드 가중치 imatrix 양자화와 토큰 효율적인 챗 템플릿을 적용함.
속도 우위 — KAT-Coder 및 Nail 모델보다 빠르고 일관된 추론 성능을 제공함.
하드웨어 효율성 — 제한된 하드웨어 환경에서도 빠른 코딩 작업 수행이 가능함.

Qwen3.8-27B 진짜 개쩌는데, 너무 느린 게 흠이지. 제약 있는 하드웨어에서도 돌아가면서 실제 코드베이스 문제까지 빠르게 해결해 주는 더 강력한 35B-A3B Mixture of Experts 코더가 있다면 무조건 챙겨야지. 내가 벤치마크 돌려본 35B-A3B 모델들 중에서 이게 정확도랑 속도 면에서 제일 강력하고 일관성도 쩔어. 실제 코드베이스에 던져놨을 때 문제 해결 속도도 제일 빠르더라. Ornith-1.5 파인튜닝에 더해서, TielCoder는 동적 양자화를 위한 코드 가중치 imatrix를 썼고, 토큰 효율적이면서도 정확한 에이전트 코딩을 위해 최적화된 챗 템플릿까지 갖췄어.

GGUFs: https://huggingface.co/peculiar-ragdoll/Tiel-Coder-35B-A3B-GGUF

MLX: https://huggingface.co/peculiar-ragdoll/Tiel-Coder-35B-A3B-MLX-oQ4e

원문

커뮤니티 목록

r/LocalLLaMA•약 1개월 전•248•245

TielCoder의 22GB 4비트 양자화 모델, 최신 실무 코딩 문제에서 Opus 4.6 medium과 대등한 성능 기록, KAT-Coder와 Nail을 제치고 가장 강력하고 빠른 MoE 모델로 등극

TielCoder's 22 GB 4-bit quant matches Opus4.6 medium on recent real life coding issues, surpassing KAT-Coder and Nail as strongest and fastest MoE picks.

핵심 요약

TielCoder 35B-A3B 모델이 실무 코딩에서 뛰어난 성능과 속도를 입증하며 새로운 MoE 강자로 주목받고 있음.

성능 비교 — 실무 코딩 문제에서 Opus 4.6 medium과 대등한 성능을 보임.
최적화 기술 — 코드 가중치 imatrix 양자화와 토큰 효율적인 챗 템플릿을 적용함.
속도 우위 — KAT-Coder 및 Nail 모델보다 빠르고 일관된 추론 성능을 제공함.
하드웨어 효율성 — 제한된 하드웨어 환경에서도 빠른 코딩 작업 수행이 가능함.

GGUFs: https://huggingface.co/peculiar-ragdoll/Tiel-Coder-35B-A3B-GGUF

MLX: https://huggingface.co/peculiar-ragdoll/Tiel-Coder-35B-A3B-MLX-oQ4e

주요 댓글

r/localllama

새로운 MoE 모델의 등장에 사용자들은 성능과 속도에 큰 관심을 보이며, 기존 모델들과의 비교 및 벤치마크 데이터에 대해 활발히 논의함.

120

왜 Qwen3.8은 벤치마크에서 빠졌음? 비교하려면 우리가 얼마나 성능 손해를 보는지 알아야 할 거 아냐... 그래야 트레이드오프를 따져보지!!

요청 고마워! 3.8-27b medium effort 대비 6배 빠른 속도를 보여주지만, 해결 능력은 약간 떨어짐.

고마워! 흥미로운 결과네.

왜 qwen3.8-27b thinking을 medium으로 설정했음? 말이 많긴 해도 그게 훨씬 큰 모델들과 경쟁할 수 있는 비결이라고 생각하는데.

Qwen-3.8이 다 가볍게 이기긴 함. 근데 뭐 당연한 소리지. 이건 전부 A3B MoE 모델들이라 Qwen3.8보다 훨씬 빠르고 하드웨어도 덜 먹으니까. 아쉽게도 아직 Qwen3.8-A3B는 없네. 개인적으로는 Qwen3-Coder-Next가 나왔으면 좋겠음. 모델 크기만 키우고 추론 속도는 사실상 A3B 모델이랑 비슷할 테니까.

Qwen3 next부터 새로운 아키텍처로 전환됐죠. 그 이후 모델들은 거의 다 그걸 기반으로 하고 있고요. 하이브리드 델타 넷 아키텍처는 sparse attention 레이어 때문에 MoE로 구현하기가 꽤 까다롭습니다. 어느 시점부터는 dense 모델과 MoE 모델이 완전히 별개의 프로젝트가 되어버리죠. 특정 수준의 학습 단계에서는 MoE에 아주 적합한 아키텍처가 아닐 수도 있다는 근거들이 좀 있습니다.

아니 젠장... KAT-Coder 평가 중인데 또 새로운 경쟁자가 나왔네 ㅋㅋㅋ '배부른' 고민이긴 하다.

KAT-Coder는 가끔 엉뚱한 방향으로 길게 튀는 경우가 있는데, Tiel은 안 그래. 확실히 더 일관성 있고 유능한 모델이라는 걸 체감할 수 있을 거야 :)

이거 qwen 35b 파인튜닝한 또 다른 버전임?

사실 세 가지 변화가 있음: Ornith가 수행한 파인튜닝, 내가 직접 한 코드 중심의 동적 imatrix 양자화(Q4에서 매우 중요함), 그리고 내가 작성한 개선된 챗 템플릿(https://huggingface.co/peculiar-ragdoll/Qwen-Sharp-Chat-Templates) 덕분에 qwen 기반 모델들이 결론에 도달하는 데 드는 시간과 토큰을 줄여줌. 종합적으로 보면 순정 qwen 35b보다 코딩 성능도 훨씬 좋고 속도도 빠름.

와, 마음이 따뜻해지네. 고마워! 한번 써봐야겠다.

재밌게 써보고, 문제 있으면 알려줘. 내가 고쳐볼게 :)

개인적으로 테스트 좀 돌려봤는데 결과 아주 좋음. 일단 지금은 Kat Coder랑 동급인 듯.

와 이거지, 내가 찾던 게 바로 이거임.

원문r/LocalLLaMA