Qwen 3.8 35BA3B spotted
Qwen 3.8 35B-A3B 모델이 공개되어 저사양 GPU 환경에서도 뛰어난 성능을 보여주며 큰 기대를 모으고 있습니다.
사용자들은 35B-A3B 모델이 낮은 사양의 GPU에서도 높은 양자화 수준으로 쾌적한 속도를 제공한다는 점에 매우 긍정적인 반응을 보이고 있습니다.
16GB GPU 쓰는 수백만 명이 혜택을 보겠네!
8GB GPU도 (RAM 있으면) 가능함.
128GB 맥북 같은 통합 메모리 시스템도 마찬가지고. 가끔은 빠르게 작업 처리할 모델이 필요하니까.
내 StrixHalo가 이걸 간절히 원하고 있음.
A3b가 Strix Halo의 스윗 스팟이지.
Qwen3 next가 진짜 딱 맞는 조합이었네.
맞아, 나도 1070ti + Zen3 ddr4 조합에서 pp 500tps / tg 40tps 나오더라.
어떤 파라미터 써? 그리고 램은 얼마나 있어?
6GB GPU에 램 섞어서 돌려봤는데, 코딩 작업할 때 대충 30 tps 정도 나오더라 (Q4_K_M)
내 RTX 3050 8GB가 이 소식에 아주 좋아하겠네.
6GB GPU도 가능할 듯
그리고 GPU 없는 32GB 컴퓨터도.
예스, 난 27B Q3만 겨우 빠른 속도로 쓸 수 있는데, 40k 컨텍스트에 비전 기능은 없음.
난 35B-A3B MTP + CPU 오프로드로 40 tps 나오는데, 27B는 아예 못 쓸 수준임 ㅋㅋ
어떤 하드웨어 씀?
16GB RTX 5080 노트북:
llama serve \\ -hf unsloth/Qwen3.8-27B-GGUF \\ -hff Qwen3.8-27B-UD-IQ3_XXS.gguf \\ --no-mmproj -c 65536 \\ -ctk q8_0 -ctv q8_0 \\ -b 1024 -np 1 \\ --spec-default --spec-type draft-mtp \\ --reasoning-preserve --fit off --agent
~60 t/s.
사용자가 자신의 타이핑 속도를 측정해 LLM의 토큰 생성 속도(t/s)와 비교하는 웹 도구를 만들어 공유했습니다.
사용자가 자신의 타이핑 속도를 측정해 LLM의 토큰 생성 속도(t/s)와 비교하는 웹 도구를 만들어 공유했습니다.
AI 에이전트의 자율적 작업 수행을 신뢰하기 위해 필요한 안전장치와 검증 방식에 대한 논의입니다.
AI 에이전트의 자율적 작업 수행을 신뢰하기 위해 필요한 안전장치와 검증 방식에 대한 논의입니다.
