r/LocalLLaMA•16일 전•584•250논쟁
3.8-27B 써보고 나서 3.5/3.6-35B는 이제 못 쓰겠음. 그냥 압도적으로 더 좋음.
3.8-27B has ruined 3.5/3.6-35B’s for me. It’s just *absurdly* superior.
핵심 요약
3.8-27B 모델이 이전 35B 모델들보다 압도적인 성능과 디테일을 보여주어 기존 모델들을 오징어로 만들어버렸다는 후기.
- 성능 비교 — 3.8-27B가 기존 35B 모델들보다 훨씬 뛰어난 디테일과 품질을 보여줌.
- 속도와 효율 — 3.8-27B는 속도는 느리지만 토큰 사용량과 메모리 점유율 면에서 효율적임.
- 하드웨어 제약 — 고성능 모델 구동을 위한 메모리 확보가 사용자들의 주요 고민거리임.
- 모델 활용 — 추론 기능 사용 여부나 템플릿 최적화를 통해 모델의 단점을 보완하며 사용함.
워크플로우 설계부터 데이터 파이프라인, 결과 분석, 논문/보고서 작성, 그리고 온라인 데이터 게시까지 응용 과학 업무 전반을 다뤘음. 과거에 내가 했던 프로젝트 5개를 처음부터 끝까지 그대로 재현해 봤다.
전체 소요 시간은 3배에서 4배 정도 더 걸림. 노트북에서 이 모델 하나만 써야 한다면 하루에 할 수 있는 작업량이 엄청나게 줄어드는 건 맞음. 타격이 큼.
근데 와... 퀄리티가 미쳤음. 디테일 챙기는 수준이 그냥 돌았음. Z.ai API를 쓰고 있어서 5.3이랑 5.3-flash랑 비교해 봤는데:
5.3(flash랑 일반 버전)이랑 3.8-27B 사이의 격차는, 3.8-27B랑 3.5/3.6-35B-A3B(vanilla, kat, Ornith/tiel, nex-2) 시리즈 사이의 격차보다 훨씬 작음. 거의 차이가 안 난다고 봐도 될 정도임.
그나마 Ornith가 좀 비비긴 했는데, 결국 얘를 넘어서진 못하더라.
게다가 토큰도 22~33% 덜 쓰고(노력도=중간), 램 점유율도 낮아서 제한 걸리거나 압축 문제 생길 걱정 없이 더 많은 일을 처리할 수 있음.
그러니까 뭐, 난 그냥 차나 더 마시고 피아노나 치면서 놀아야겠다. 그 빵빵한 Qwen 녀석한테 일 다 시키면 되니까.
