llama.cpp support for Qwen3.8-Flash-Next has been merged
llama.cpp가 최신 Qwen 모델을 공식 지원하게 되면서 사용자들의 기대와 기술적 질문이 이어짐.
github.com
원문 사이트로 이동
드디어 GGUF 다운로드할 수 있게 됐다.
Qwen3.8-Flash-Next 모델의 llama.cpp 지원에 대해 사용자들의 기술적 논의와 성능 최적화 경험이 공유되고 있음.
내가 알기로는 mtp랑 ngram 오프로딩은 제대로 작동 안 하지 않나?
오프로딩 관련해서는 내 이전 게시물들 확인해 봐.
그냥 mmap 쓰면 되는 거 아님? 수정됨: --tensor-read-lazy on|off|auto라는 새 플래그 찾음
그게 뭔데? 자동으로 오프로드(SSD에 유지) 해주는 거임?
4GB 그래픽카드로 SSD 오프로딩 써서 10t/s 뽑았다. 오늘 밤에 더 최적화할 수 있을 듯.
연필이랑 종이로 오프로드하면 내 6502 브레드보드 키트에서도 돌릴 수 있을지도 모르겠네.
MTP는 언제 됨?
MTP Qwen?
진짜 빠르네 - 4x3090에서 55 t/s 나옴
꽤 빠르네 - 4x3090에서 55 t/s
이해가 안 가는데, 그렇게 빵빵한 하드웨어에서 6B 활성 모델 치고는 너무 느린 거 아님?
다른 사람들에게 영감을 줄 수 있게 커맨드 라인이랑 스크린샷 좀 공유해줘
그렇게 할게
실례지만 어떤 양자화(quant)를 쓰셨는지 물어봐도 될까요?
0.01Q
계속 업데이트해줘
사용자가 자신의 타이핑 속도를 측정해 LLM의 토큰 생성 속도(t/s)와 비교하는 웹 도구를 만들어 공유했습니다.
사용자가 자신의 타이핑 속도를 측정해 LLM의 토큰 생성 속도(t/s)와 비교하는 웹 도구를 만들어 공유했습니다.
AI 모델 Luna가 '강아지 살해'라는 윤리적 테스트에서 추론 과정 없이 도구를 즉각 실행해버린 현상을 다룬 글.
AI 모델 Luna가 '강아지 살해'라는 윤리적 테스트에서 추론 과정 없이 도구를 즉각 실행해버린 현상을 다룬 글.
