unsloth/Qwen3.8-Flash-Next-GGUF is being updated
Unsloth가 Qwen3.8-Flash-Next-GGUF를 llama.cpp 호환 버전으로 업데이트하여 GGUF 버전 파편화 문제를 해결할 것으로 보입니다.
Unsloth가 https://huggingface.co/unsloth/Qwen3.8-Flash-Next-GGUF을 llama.cpp에서 돌아가게 하려고 업데이트 중인 것 같은데, 이걸로 Qwen Flash Next의 GGUF 버전이 두 개로 나뉘는 문제가 해결됐으면 좋겠네.
사용자들이 Qwen3.8-Flash-Next 모델의 최적화된 퀀트 버전과 관련하여 구체적인 요구사항을 공유하고 대안을 제안함.
"이걸로 Qwen Flash Next의 GGUF 버전이 두 개나 있는 문제가 해결되길 바람"
이제 Qwen Flash Next 버전이 세 개나 됨...
공유되지 않은 MTP 헤드들이 업데이트됨.
Q4_K_XL이랑 IQ4_XS 사이에 있는 퀀트 버전이 나왔으면 좋겠음. 아래 두 개 같은 거:
https://huggingface.co/ggml-org/Qwen3.8-Flash-Next-GGUF (IQ4 NL)
https://huggingface.co/bitlamas/Qwen3.8-Flash-Next-Q4_K_XL-DN4 (DN4)
내 기기(Strix Halo)에서는 9GB 차이가 엄청 큼. ctx-size를 262144 풀로 돌리느냐, 131072로 낮추느냐의 차이라서.
이전 GGUF 버전 분리 때문에 긴 대화에서 문제가 좀 있었는데, 이번 업데이트로 역할극 채팅에서 더 일관된 성능을 보여주길 기대함.
여자친구 롤플레잉용으로 돌려볼까 생각 중임. 지금 쓰는 거랑 비교해서 성격 유지 얼마나 잘 되는지 보려고.
개인용 로컬 AI 환경을 구축하기 위해 엄청난 규모의 하드웨어 클러스터를 구성한 작성자의 경험담입니다.
개인용 로컬 AI 환경을 구축하기 위해 엄청난 규모의 하드웨어 클러스터를 구성한 작성자의 경험담입니다.
Claude가 시스템 프롬프트에 사용자의 이메일 주소를 포함해 노출하는 현상에 대한 사용자들의 당혹스러운 반응.
Claude가 시스템 프롬프트에 사용자의 이메일 주소를 포함해 노출하는 현상에 대한 사용자들의 당혹스러운 반응.
OpenAI와 Anthropic의 가성비를 비교한 분석 결과에 대해 사용자들의 의견이 엇갈리고 있습니다.
OpenAI와 Anthropic의 가성비를 비교한 분석 결과에 대해 사용자들의 의견이 엇갈리고 있습니다.