r/LocalLLaMA•약 2개월 전•21•15

DS4 Flash 0731 UD-IQ2_M이 50분 만에 Kimi k2 IQ1_0용 커스텀 Metal 커널을 작성함

ds4 flash 0731 UD-IQ2_M wrote a custom metal kernal for kimi k2 IQ1_0 in about 50 minutes

핵심 요약

DS4 Flash 모델이 Mac Studio 환경에서 Kimi k2 IQ1_0을 위한 커스텀 Metal 커널을 스스로 작성한 사례 공유.

DS4 Flash 성능 — 50분 만에 커스텀 Metal 커널 작성 성공
Mac Studio 환경 — 512GB 메모리에서 Kimi k2 IQ1_0 구동
성능 비교 — CPU보다는 빠르지만 GLM 5.2 4비트 모델이 여전히 우세함
모델 활용 — 2비트 양자화 모델도 실사용 가능한 수준의 성능을 보여줌

프로그래밍을 잘 모르는 입장에서 이런 건 정말 대단해 보임... 혹시 이 정도 수준의 모델이 q2에서 이런 능력을 보여주는 게 일반적인 건지 알려줄 사람?

내 Mac Studio 512GB에서 unsloth의 IQ1_0 Kimi k3 양자화 모델을 돌리려고 깃허브를 뒤졌는데 커널이 없길래, DS4 IQ2_M한테 시켰더니 50분 만에 커스텀 Metal 커널을 짜버림.

성능은 그저 그렇지만 CPU보다는 훨씬 나음. k3 Q1_0 기준(Mac Studio 512GB)으로 디코딩 4 t/s, 프리필 20 정도 나옴.

0731을 mlx에서 8비트랑 4비트로도 돌려봤는데... 내 작업 기준으로는 2비트 unsloth 모델도 일반적인 샘플링 설정 오차 범위 내에 있는 것 같음. LM Studio를 통해 RTX Pro 6000 1개에서 프리필 1k, 디코딩 50 정도로 돌아감.

여전히 4비트 GLM 5.2가 더 낫다고 생각하지만 꽤 근접함. 90GB짜리 파일치고는 미친 성능임.

원문

커뮤니티 목록

r/LocalLLaMA•약 2개월 전•21•15

DS4 Flash 0731 UD-IQ2_M이 50분 만에 Kimi k2 IQ1_0용 커스텀 Metal 커널을 작성함

ds4 flash 0731 UD-IQ2_M wrote a custom metal kernal for kimi k2 IQ1_0 in about 50 minutes

핵심 요약

DS4 Flash 모델이 Mac Studio 환경에서 Kimi k2 IQ1_0을 위한 커스텀 Metal 커널을 스스로 작성한 사례 공유.

DS4 Flash 성능 — 50분 만에 커스텀 Metal 커널 작성 성공
Mac Studio 환경 — 512GB 메모리에서 Kimi k2 IQ1_0 구동
성능 비교 — CPU보다는 빠르지만 GLM 5.2 4비트 모델이 여전히 우세함
모델 활용 — 2비트 양자화 모델도 실사용 가능한 수준의 성능을 보여줌

성능은 그저 그렇지만 CPU보다는 훨씬 나음. k3 Q1_0 기준(Mac Studio 512GB)으로 디코딩 4 t/s, 프리필 20 정도 나옴.

여전히 4비트 GLM 5.2가 더 낫다고 생각하지만 꽤 근접함. 90GB짜리 파일치고는 미친 성능임.

주요 댓글

r/localllama

DS4 모델의 커스텀 커널 작성 능력과 특정 작업에서의 뛰어난 성능에 대해 사용자들 간의 놀라움과 기술적 논의가 이어지고 있음.

그 모델이 정말 마음에 든다면 TabbyAPI/exllamav3를 설정해서 exl3 양자화를 시도해 볼 가치가 있다고 봄. RTX 6k 하나에서 돌리기엔 2.52 bpw 옵션이 최고인 듯. 내 환경(언더볼팅 및 전력 제한)에서는 프리필 1.8k에 70 tg 나옴. mtp를 써서 더 낮은 양자화로 돌려볼 수도 있고.

https://huggingface.co/turboderp/DeepSeek-V4-Flash-0731-exl3

내 맥 스튜디오 512GB에서 unsloth의 IQ1_0 Kimi k3 퀀트용 깃허브 커널을 못 찾길래, DS4 IQ2_M이 직접 커스텀 metal 커널 짜는 데 50분 정도 썼음.

성능은 그저 그런데 CPU보다는 훨씬 나음. k3 Q1_0 (맥 스튜디오 512GB) 기준으로 디코드 4 t/s, 프리필 20 정도 나옴.

MLX 커널을 이것저것 만져보고 있는데, 궁금하면 내 레포에서 참고할 만한 게 있을지도 몰라: MLX Kernel

레이어나 양자화 관련해서 깊게 파볼 수 있을 거야. DSv4 Flash가 확실히 여유를 좀 더 줄 거임.

프로그래밍 문외한인 나로서는 이런 게 엄청나게 인상적으로 보이는데... 혹시 다른 사람들은 이 정도 급 모델이 q2에서 이 정도 성능을 내는 게 예상 가능한 범위인지 알려줄 수 있음?

DS4F 진짜 대박임. 내 컴퓨터(Intel B70 탑재)에서 DS4F를 돌리게 만들었거든. 자기 전엔 llama.cpp가 세그폴트(segfault) 나서 뻗었는데, 자고 일어나니 DS4F가 돌아가고 있었음. DS4F를 돌리기 위한 코드를 DS4F가 직접 짜게 만드는 건 진짜 인셉션급임.

나도 가끔 GLM-5.2로 돌아가기도 하고, Qwen 3.8-max도 쓰고 있음(주로 프리뷰 때 엄청 쌀 때).

한 번에 다 짠 거야? 파이(pi) 같은 거 써서 여러 번 주고받으면서 최적화해보는 건 어때.

opencode에 있었고, 내가 중간에 개입하지 않고 한 번에 만들어낸 '원샷'이었음. kimi와의 대화에서 두 번째 턴이 느려지는 버그가 있어서 그거 고치는 데 마지막 10분을 썼어.

-1

MXFP4 mlx 돌리는 거 진짜 대박임... mlx 분산 환경이랑 M5Max 2개에서 돌리느라 좀 고생했지만... 그래도 최적화할 여지는 좀 있는 듯. mtp 3 deep 쓰는데 프리필 500 정도에 35~40 t/s 정도 나오는데, 좀 더 나오면 좋을 듯... 2비트 버전도 맥 한 대에서 돌려봤는데 좀 느리긴 해도 비슷했음. 근데 Swift 코딩 차이는 진짜 하늘과 땅 차이임... iOS 앱 빌드하는 8K 프롬프트가 있는데... DS4 4비트가 처음으로 한 번에 성공함, 테스트까지 다 돌리고 🤯 Qwen...

-3

왜 그런지 모르겠는데 난 DS4랑 궁합이 안 좋았음. 이미 만들어진 형식에 새 데이터만 넣어서 간단한 JSON 파일을 짜달라고 했는데 4번이나 실패하고는 '안 되겠네, 그냥 네가 직접 써라' 이런 식으로 나오더라. 반면에 Claude Code는 한 방에 해결함. 내 pi harness 설정이 뭔가 구린가 봄.

맞음, pi harness는 제대로 쓰려면 커스텀을 엄청 많이 해야 하더라. Charm Crush는 그냥 쓰기에도 진짜 괜찮은 듯.

원문r/LocalLLaMA