Qwen3.8-Flash-Next tomorrow
Qwen4 아키텍처를 미리 엿볼 수 있는 125B 규모의 새로운 MoE 모델이 공개되어 커뮤니티의 기대가 큽니다.
modelscope.cn
원문 사이트로 이동
사용자들은 새로운 125B MoE 모델의 사양에 놀라워하면서도, 하드웨어 요구 사양과 모델 명명 방식에 대해 다양한 의견을 나누고 있습니다.
[이미지]
ENGRAM이 포함된 새로운 125B 모델이 나왔다
Engram이 125B에 포함된 건지, 아니면 별도로 추가된 건지 궁금하네.
수정: 젠장, 몇 분 사이에 리드미를 수정했네. 하이라이트 부분을 포함해서 몇 문단이 삭제됨.
그리고 FP8 버전이 나올 것 같던데... 여전히 DeepSeek/Kimi/gpt-oss 같은 QAT / FP4 전용 릴리즈는 없네.
Engram은 추가적인 거라고 적혀있어. 그리고 60억 개의 활성 파라미터를 가진 MoE 모델이야.
(Qwen 3.8 E125B A6B 인가?)
사실상 Qwen4 프리뷰임: *"차세대 Qwen4 아키텍처를 기반으로 구축됨 ... 커뮤니티가 곧 출시될 Qwen4 모델군을 준비할 수 있도록 이러한 아키텍처 개선 사항을 조기에 공개함."
LLM 버전 이름 짓는 거 갈수록 이해가 안 가네
기억해둬: -Next 모델들은 항상 덜 구워진 상태야. 목적은 사람들이 Qwen4와 호환되는 소프트웨어를 개발할 수 있게 조기 출시하는 거지, 아직 모두를 놀라게 하려는 게 아님.
내 추측으로는 Qwen3.8이랑 경쟁할 수준이겠지만, 진짜 기대되는 건 몇 달 뒤 Qwen4가 출시될 때일 거야.
솔직히 3.8 27B 모델이랑 성능이 비슷하기만 해도, 내부 지식 더 많으면 개이득이지. dgx spark나 strix halo, 맥 쓰는 사람들한테는 무조건 승리임.
이거 돌릴 하드웨어 가진 사람들 축하해 :) (난 아님)
Q1_K_XXS 가즈아!
내일? 또 일정 잘못 잡아서 24시간에 12시간 더 밀린다는 뜻이야?
농담은 제쳐두고.
예에에에에에에에에에에에스 125BBBBBBB.
수정: 잠깐만, 51B N-gram이 볼트로 고정되어 있다고? 그럼 171B?? Minimax H3처럼 AdaLN 레이어를 커브 시뮬레이션해서 31B에서 21B로 줄일 수 있으면 좋겠네.
미친 세상에
Le Chaton Fat(뚱뚱한 고양이)이라니 완벽하게 이해되는데 무슨 소리야!
초보자 입장에서 모델 이름 짓는 규칙은 도무지 이해가 안 감.
모델_이거저거_69B_Q4_XM-S_GGWP_정신나간_FPS...
PC 모니터 이름 짓는 규칙이 훨씬 읽기 편함.
Qwen 3 Next 때랑 똑같네. 새로운 아키텍처를 테스트하고 몇 달 뒤에 그 아키텍처로 Qwen 3.5 제품군이 나왔지.
슬프게도 출시 당일에 llama.cpp 지원은 기대하면 안 될 것 같아 :( Q3Next는 구현하고 테스트할 게 많아서 지원까지 2달 정도 걸렸거든.
수정: 확인해보니 Unsloth에서 출시 당일 지원을 해준다고 하네 https://www.reddit.com/r/LocalLLaMA/comments/1vxybmy/qwen_38_flash_next_day_0_support_from_unsloth/
난 Qwen coder next가 3.6 27B랑 비교해도 여전히 정말 유용하다고 생각함.
NVIDIA가 에이전트 보안을 위한 오픈소스 샌드박스 'OpenShell'을 공개하며 업계 표준화를 주도하고 있습니다.
NVIDIA가 에이전트 보안을 위한 오픈소스 샌드박스 'OpenShell'을 공개하며 업계 표준화를 주도하고 있습니다.
작성자가 저혈당 쇼크로 의식을 잃어갈 때 ChatGPT가 음성으로 계속 말을 걸어 깨워준 경험담입니다.
작성자가 저혈당 쇼크로 의식을 잃어갈 때 ChatGPT가 음성으로 계속 말을 걸어 깨워준 경험담입니다.
Anthropic이 공개한 Claude 3.5 Opus 공식 프롬프팅 가이드의 핵심 요약 12가지.
Anthropic이 공개한 Claude 3.5 Opus 공식 프롬프팅 가이드의 핵심 요약 12가지.