r/LocalLLaMA•약 9시간 전•149•53

Qwen Next 3.8 및 3.8 27b vs Sonnet 5.5 Low 및 Medium 비교

Qwen next 3.8 and 3.8 27b Vs Sonnet 5.5 low and Sonnet 5.5 medium.

핵심 요약

로컬 모델이 최상위 클로즈드 모델과 대등한 수준에 도달하며, 특히 Qwen Next 시리즈의 성능에 대한 긍정적인 평가가 이어지고 있습니다.

로컬 모델 성능 — 최신 로컬 모델이 복잡한 추론 작업에서 클로즈드 모델을 대체할 만큼 성장함
Qwen Next 활용 — 27b 모델이 복잡한 프로젝트 해결에 효과적이며 신뢰할 수 있는 벤치마크로 평가됨
하드웨어 제약 — 고성능 모델 구동을 위한 VRAM 및 추론 속도 문제가 여전히 주요 고려 사항임
오픈 소스 강점 — 프라이버시 보호와 비용 효율성, 그리고 검열 없는 자유로운 사용이 큰 장점으로 꼽힘

6개월 전만 해도 이런 결과는 상상도 못 했지. 근데 이제는 확실하게 말할 수 있다. 로컬 모델이 이제 최첨단 수준까지 올라왔고, 불과 몇 달 만에 격차가 좁혀졌다는 게 증명됐어.

개인적으로 복잡한 작업할 때는 Qwen-Next 3.8을 쓰는데, 오늘 GPT-Sol-6-High가 프로젝트를 아주 망쳐놓고 있었거든? 근데 Qwen-Next가 다시 제대로 돌려놓더라. 난 이거 꽤 신뢰할 만한 벤치마크라고 본다. 너희 생각은 어때?

원문

커뮤니티 목록

r/LocalLLaMA•약 9시간 전•149•53

Qwen Next 3.8 및 3.8 27b vs Sonnet 5.5 Low 및 Medium 비교

Qwen next 3.8 and 3.8 27b Vs Sonnet 5.5 low and Sonnet 5.5 medium.

핵심 요약

로컬 모델이 최상위 클로즈드 모델과 대등한 수준에 도달하며, 특히 Qwen Next 시리즈의 성능에 대한 긍정적인 평가가 이어지고 있습니다.

로컬 모델 성능 — 최신 로컬 모델이 복잡한 추론 작업에서 클로즈드 모델을 대체할 만큼 성장함
Qwen Next 활용 — 27b 모델이 복잡한 프로젝트 해결에 효과적이며 신뢰할 수 있는 벤치마크로 평가됨
하드웨어 제약 — 고성능 모델 구동을 위한 VRAM 및 추론 속도 문제가 여전히 주요 고려 사항임
오픈 소스 강점 — 프라이버시 보호와 비용 효율성, 그리고 검열 없는 자유로운 사용이 큰 장점으로 꼽힘

주요 댓글

r/localllama

최신 오픈 소스 모델들이 추론 능력에서 클로즈드 모델과 대등한 수준에 도달했으며, 특히 가성비와 로컬 구동 측면에서 매우 긍정적인 평가를 받고 있다.

27b 모델의 유일한 문제는 내 2x 3090 환경에서 전체 추론 과정을 거치는 데 30분 넘게 걸린다는 점임. 하지만 제 역할을 해낸다는 걸 고려하면 앞으로 더 좋아질 일만 남았음.

Qwen의 '과도한 생각(overthinking)'은 27B 모델에서 버그가 아니라 기능임. 'low thinking' 파인튜닝 모델들을 테스트해 봤는데, 복잡한 추론 작업에서는 원본 모델과 비교했을 때 전부 무너졌음. 가정을 3번씩 확인하는 건 꽤 괜찮고, 쓸데없는 소리를 많이 걸러낼 수 있음.

솔직히 모델은 정말 좋지만, 더 복잡한 버그에서는 여전히 실패함. 불평하는 건 아님. 내 하드웨어에서 이걸 돌릴 수 있다는 게 미친 수준이고, 몇 년 전만 해도 이게 가능할 거라고 했으면 안 믿었을 거임. 하지만 지금은 이게 어디까지 발전할 수 있을지 궁금함.

swift랑 ninfer 사용 중임? 나한테는 게임 체인저였음.

Ninfer는 3090 하나만 쓸 때용 아니었나?

알리바바가 qwen4에서는 토큰 문제를 해결해주길 바랄 뿐임.

슬프게도 Qwen 말고는 다른 중급 모델을 개발하는 곳이 없음. 얘네마저 그만두면 사실상 끝난 거임.

club-3090에서 thinking 설정을 low로 맞춘 ThinkingCap Qwen3.8 27b를 위한 좋은 레시피를 가지고 있음

https://github.com/noonghunna/club-3090/discussions/1418

난 어떤 증류 모델에서도 좋은 결과를 얻은 적이 없고, club 3090에서 시도해 본 대부분의 설정도 내가 현재 필요한 설정과 비슷하게 사용하는 것보다 나은 게 없었음

Qwen 3.8이 낮은 추론 설정에서 Sonnet과 나란히 앉아 있는 건 꽤 인상적임. 그리고 모델을 비공개로 실행하고 자신의 워크플로우에 맞게 조정할 수 있으면서 비용도 많이 들지 않는다는 게 큰 장점임. 개인적으로 Qwen을 많이 사용하고 있는데, 좋은 하네스 시스템에서 사용하면 일상적인 작업 대부분을 처리할 수 있음.

게다가 '...with fallback' 같은 걸 방정식에서 제거할 수 있다는 점도 좋음. 내가 무슨 말을 할 수 있고 없는지 지시받으려고 돈 내는 게 아니니까.

이거 QFN을 xhigh로 표시한 거야, 아니면 low로? GLM5.3 Flash가 씹어먹고 있는 거 보니까 좋네.

내 생각엔 최신 미디엄 모델들(ds flash 4, qwen 3.8 next 등)이 추론 능력 면에서 최상위 클로즈드 모델들에 엄청나게 근접했어. 괜찮은 하네스랑 도구들(파이썬, 웹 검색 등)만 붙여주면, 비용은 훨씬 적게 들면서도 최신 탑 모델이랑 거의 비슷한 성능을 내고 로컬에서도 적당한 속도로 돌릴 수 있거든. (내 경우엔 qwen 3.8 27b가 이미 sonnet보다 나았음) 거의 비슷하다고 한 건, 진짜 어려운 문제들은 여전히 fable 5.1이나 opus 5.5급 모델들이 우위에 있다고 보기 때문이야. 하지만 최첨단 수학 문제를 풀거나 아예 새로운 OS를 새로 짜려는 게 아닌 99%의 사용 사례에서는, 새로 나온 오픈 소스 모델들에 비하면 걔네는 별 의미가 없어.

그리고 sonnet(특히 무료 티어 버전)은 너무 멍청하게 느껴져. 학습 데이터도 최신이 아니고, 여기저기서 헛소리하고... 그냥 사용자들을 더 비싸고 좋은 모델로 유도하려는 것 같음.

Qwen 3.8 27b가 3.8 next보다 어떻게 더 "비싼" 거야? 아니면 내가 잘못 읽고 있는 건가?

활성 파라미터가 60억 개밖에 안 돼서 그런 걸로 알고 있음.

원문r/LocalLLaMA