CyberTiel 35B-A3B의 검열 없는 4비트 양자화 모델이 실제 코드베이스 문제에서 Opus 4.6 medium을 압도하며, Qwen3.8-27b medium 대비 27%의 시간만 소요함
CyberTiel 35B-A3B’s uncensored 4-bit quant beats Opus 4.6 medium cleanly on real codebase issues, in 27% of the time Qwen3.8-27b medium takes.
핵심 요약
CyberTiel 35B-A3B 모델이 검열 없는 코딩 성능과 빠른 속도로 실제 코드베이스 작업에서 뛰어난 효율을 보여준다는 평가.
- 성능 비교 — 실제 코드베이스 문제 해결에서 Opus 4.6 medium보다 우수한 성능을 보임
- 속도 효율성 — Qwen3.8-27b medium 대비 27%의 시간으로 동일한 작업을 처리함
- 검열 제거 — 보안 연구 및 사용자 제어권을 위해 검열을 제거한 모델임
- 사용자 피드백 — 모델의 코딩 능력과 설정값에 대해 사용자들 간의 의견이 갈림
모델 검열을 해제하면 성능이 떨어질 수 있다는 단점이 있지만, CyberTiel은 검열된 기반 모델인 TielCoder보다 훨씬 뛰어난 소프트웨어 엔지니어링 능력을 보여주면서도 공격적 보안 연구까지 가능하게 만들었어. 이건 사이버 보안과 에이전트 기반 소프트웨어 엔지니어링 작업물들로 엄선한 코퍼스를 사용해 개선된 imatrix로 양자화를 진행해서 달성한 결과야. 간단히 말해, 풀 정밀도 모델에서 abliteration(검열 해제 기법)으로 인한 미세한 손상은 Q4 양자화 단계에선 무시해도 될 수준이고, 모델이 관련 작업을 수행하는 데 필요한 가중치는 더 높은 정밀도로 보존돼. 게다가 개선된 채팅 템플릿 덕분에 생각하고 말하는 속도도 훨씬 빨라졌지.
난 이게 실제 코드베이스에서 아무것도 망가뜨리지 않고 실질적인 문제를 해결하는 데 있어 최고의 35B-A3B 코더 모델이라고 확신해. SWE-bench-Live가 딱 그런 능력을 테스트하는 벤치마크거든. 물론 35B-A3B 모델이라 코딩 능력을 챙기는 대신 일반 상식은 좀 희생했어. 그래도 난 매일 코딩할 때 Qwen3.8-27b 대신 이걸 써. 압도적인 속도 덕분에 27b 모델이 문제 하나 풀 시간에 이건 3개나 해결하거든. Opus4.6 미디엄과 Qwen3.8-27b 미디엄 사이의 딱 적당한 성능이라 웬만한 작업엔 차고 넘쳐.
검열은 사용자의 의도에 맞춘 정당하고 효율적인 작업을 방해하고, 모델의 행동에 대한 사용자의 책임과 소유권을 의심하게 만들며, 정당한 사용 범위까지 제한해 버려. 모델이 검열된다는 건 누군가 대신 모델이 무엇을 할 수 있고 무엇을 해야 하는지 결정한다는 뜻인데, 이건 로컬 모델이 사용자에게 더 큰 통제권과 정렬을 제공한다는 취지에 정면으로 반하는 거지. 결국 "도대체 누구를 위한 정렬인가?"라는 의문이 들 수밖에 없어. CyberTiel의 목적은 35B-A3B 코더의 한계를 돌파하는 동시에 이런 문제를 해결하는 거야.
MTP 적용 여부에 따른 GGUF와 MLX 버전은 여기 HF에 올려뒀어. 다들 써보고 어떤지 의견 좀 남겨줘!
추신: 난 연구소나 기업도 아니고, 이 프로젝트로 수익을 내는 것도 아니야. 그냥 시간 좀 남는 익명의 연구자일 뿐임. 건설적인 피드백은 언제나 환영이야! :)
