M6 Mac Mini(32GB) 사용자 주목: 이제 Apple Neural Engine에서 Qwen3.8-27B를 고품질로 구동 가능
M6 Mac Mini owners (32GB): now you can run Qwen3.8-27B in high quality on the Apple Neural Engine
핵심 요약
ANEMLL Forge 0.2.1 업데이트로 M6 Mac Mini에서 Qwen3.8-27B 모델을 192K 컨텍스트까지 효율적으로 구동할 수 있게 됨.
- 성능 최적화 — INT8 K/V 캐시 도입 및 드래프터 개선으로 메모리 사용량 0.86GB 절감
- 컨텍스트 지원 — 192K 컨텍스트까지 지원하며 32GB 메모리 환경에서 최적의 속도 구현
- 컴파일 시간 — 192K 전체 컴파일은 2시간 소요되나 필요한 컨텍스트만 설정 시 10분 내외로 단축
- 기술적 성과 — Apple Neural Engine을 활용한 3비트 MLP 벡터 양자화 기술 적용
ANEMLL Forge 0.2.1: M6 Neural Engine에서 돌아가는 Qwen3.8-27B가 이제 최대 192K 컨텍스트까지 지원한다 (M6 32GB 기준).
새로운 점: INT8 K/V 캐시(FP16의 절반) 적용했고, 타겟 출력 헤드를 공유하는 더 작은 드래프터를 써서 ANE 메모리 0.86GB 아꼈는데 속도는 그대로임.
디코딩 속도는 콘텐츠 따라 다름: JSON은 35–62 tok/s, 코드는 18–32, 일반 글은 10–17 나옴. 프리필은 짧은 컨텍스트에서 260 tok/s, 192K에서는 62 tok/s 찍힘. 128K–192K 구간은 메모리 예산 맞추려고 프리필 배치를 더 작게(64행 대신 32행) 돌림.
참고해라: 192K 풀로 처음 컴파일하면 M6에서 2시간 정도 걸림(딱 한 번만 하면 되고 캐싱됨). `--ctx` 쓰면 필요한 항목만 뽑아내니까 컴파일 훨씬 빠름. 16K는 다운로드부터 서버 실행까지 10분 컷임. 내 생각엔 32GB 램에서 크기랑 속도 밸런스 제일 좋은 건 96K인 듯: 프리필 123 tok/s, 디코딩 약 27 tok/s, 총 메모리 21.4GB 정도 먹음.
릴리즈 노트: https://github.com/Anemll/anemll-forge/blob/main/docs/RELEASE_NOTES_v0.2.1.md
영상 (약 150K 토큰 넘게 생성한 테트리스, 압축 없음): https://x.com/anemll/status/2111941341819408866
논문: Three Bit MLP Vector Quantization in Apple Neural Engine — https://github.com/Anemll/anemll-forge/blob/main/docs/papers/anemll-forge-v02.pdf
다들 즐거운 코딩해라, Anemll 🤖
