Mac용으로 최적화된 Qwen3.8-Flash-Next

아주 잘 돌아갈 겁니다. SSD 스트리밍을 계속 사용할 수 있고, 다른 작업에 필요한 RAM을 제외하고 원하는 만큼 캐시를 할당할 수 있어요. 자주 쓰이는 텐서들은 RAM에 상주하게 되어 I/O 발생이 매우 적을 겁니다.

48GB RAM을 가진 맥에서도 잘 돌아갈까요?

난 지금 64GB+RTX 5090 시스템에서 770 pp 36 tg 나오는데 이거 꽤 인상적이네. 물론 4.2bpw atomicchat 퀀트 쓰고 있긴 함. M3 Max 64GB도 있어서 테스트해 볼 수 있을 듯. 아마 prefill이 주 병목일 것 같네. 흠. 5090으로 두 장치 다 prefill 돌릴 수도 있겠지. 각 컨텍스트의 KV 캐시는 각 장치에 남겨두고. 두 번째 컨텍스트는 비워두고... 근데 뭐 5090이 병렬 요청 처리는 더 나으니까. llamacpp rpc도 시도해 볼까 하는데 더 빠를 것 같진 않음. 그리고 맥은...

이 스레드 올라오기 전에 같은 모델 돌려봤음. M5 Max 128GB, 메인라인 llama.cpp b10686, UD-Q2_K_XL (79GB), 350k 컨텍스트 슬롯 (262k에서 YaRN 적용), fp16 KV, flash-attn, ngram-mod spec decode 사용했고 수용률은 0-81%였음 (업스트림은 MTP 헤드를 못 돌림). 3.5시간 동안 100턴 풀 캡처함.

프리필은 초기 1561 t/s였고 120k 정도에서 318 t/s까지 떨어졌음. 유휴 상태 이후 105k 콜드 리프리필은 333초 정도 걸림. 디코드는 컨텍스트가 작을 때 30-35 t/s 정도였고 169k 정도에서 11 t/s까지 떨어짐, 딥...

한번 시도해 보세요 - 같은 모델이랑 같은 설정으로 돌려보고 결과 알려주세요 :)

진짜 잘 만들었네! M2 Max 96GB로 테스트 중임. ssd-streaming 켜고 끄면서 해봤는데, 나한테는 resident가 더 낫더라. 262k 컨텍스트에 kv quant 없이 RAM 95% 찍히는데, prefill 속도 400t/s 나옴. 비교하자면 최신 omlx 릴리즈로는 200~230 정도밖에 안 나왔거든. 참고로 unsloth의 Qwen3.8-Flash-Next-UD-IQ3_XXS 쓰는 중. 그리고 antirez ds4 q2 gguf로 llama-bench 돌려봤는데 잘 돌아감! 성능 비슷하게 나옴. 진짜 잘했어 :D

고마워, 첫 번째 피드백 메달 획득 축하해 :) 400 tps면 내 M1 Max보다 두 배나 빠르네, 대박이다 (내 경우는 I/O가 아니라 GPU가 병목이라서). 비교하자면 ssd streaming이랑 resident랑 차이가 뭐야?

성능 개선 사항을 업스트림할 계획인가요, 아니면 계속 포크를 유지하실 건가요?