Apple Silicon에서 Qwen3.8+Flash-Next 및 소형 모델을 최대 3배 빠르게 실행하기

Splash는 어떤가요?

네, Splash를 제 커널에 포팅했습니다.

진짜 인상적이네. 특히 verify kernel 부분: '8개 행이 약 2.5단계 비용'이라는 게 제일 궁금함.

64GB M4 Max에서 Qwen3.8-Flash-Next를 엄청 돌려봤는데, 몇 가지 데이터 포인트랑 질문 좀 할게:

1. DFlash가 MoE에서도 효과가 있어, 아니면 dense 27B에서만 효과가 있는 거야? ~35B MoE에서 block drafting 해봤을 때, 각 draft 토큰이 서로 다른 expert로 라우팅되니까 verify 비용이 draft 길이에 거의 비례해서 늘어나더라고. 내 한계치는 1.1배 정도였어. 만약 네 커널이 routed expert에서도 8개 행을 ~2.5단계로 처리한다면, 이건 진짜 대박인데. DFlash 적용 전후 Flash-Next 수치 있어?

2. Flash-Next 가중치는 어떤 거고, 사이즈는 어느 정도야? 참고로 같은 M4 Max에서 ddalcu의 3.3 bpw iQ-MLX 빌드(50.6 GiB)를 쓴 mlx-serve는 40~42 tok/s 나오거든. 동일 조건 비교를 해보고 싶어.

3. 아주 낮은 비트에서 thinking mode 조심해. 내 Flash-Next 빌드에서 ternary expert는 정답은 잘 내는데 </think>를 절대 안 닫더라고(5,000 토큰 중 5번 다 그랬음). 2-bit expert는 15번 중 13번 닫았고. Non-thinking mode는 둘 다 깔끔했어. 그러니까 누가 ~2-bit 빌드에서 추론이 멈추질 않는다고 하면, 그건 엔진 문제가 아니라 quant 문제일 가능성이 커.

4. Bonsai 2 27B에서 3-bit 일반 quant보다 perplexity가 더 높게 나왔어(9.94 vs 8.01). 2.6배 빠르고 메모리도 30% 덜 썼는데도 말이야. 속도 표 옆에 품질 수치도 같이 적어두는 게 좋을 것 같아. 사람들이 어떤 트레이드오프를 하는지 알 수 있게.

도움이 된다면 내 M4 Max 64GB랑 M4 mini 16GB에서 네 빌드 돌려보고 수치 올려줄 수 있어.

물론이죠, 제 시간은 페이팔로 결제받습니다 :)