AMD / Strix Halo+ 사용자들을 위한 빅 뉴스

솔직히 나도 방금 알게 된 사실인데, 여기 있는 다른 사람들도 유용하게 쓸 수 있을 것 같아서 공유해!

드디어 NPU를 쓸 수 있게 됐어!!

내가 AMD Ryzen 395 Max AI+(이름이 뭐였더라 ㅋㅋ)를 쓴 지 1년 정도 됐는데, 그동안은 GGUF랑 Vulkan에만 의존했거든. AMD Ryzen AI 팀이 자기네 하드웨어에 맞춰서 ROCm 소프트웨어 끌어올리려고 진짜 개고생하고 있다는 건 알고 있었지.

https://kyuz0.github.io/amd-strix-halo-toolboxes/

6개월 전만 해도 이 데이터베이스가 ROCm이랑은 거리가 멀어 보였거든.

1. 왜 이게 중요한데?
   NPU랑 iGPU가 둘 다 달린 기기(strix halo 시리즈 같은 거)를 쓰고 있다면, 하이브리드 모델을 무조건 써야 해. NPU가 프롬프트 처리(PromptProcessing) 속도가 미친 듯이 빠르고, GPU랑 동시에 돌아가거든.

2. 그래서 하이브리드 모드가 뭔데?
   LLM을 NPU로만 돌릴 수도 있어. 그렇게 설계된 모델이라면 말이지. 예시로 "FastFlowLM NPU" 모델들을 한번 봐봐. 근데 하이브리드 모드는 둘의 장점만 쏙 뽑아 쓰는 거라, 1년 전(혹은 그 이상)에 산 하드웨어를 드디어 제대로 써먹을 수 있게 된 거야.

3. 테스트하려면 어떻게 해야 해?
   Lemonade를 다운로드해! Ryzen AI에 집중해서 AMD랑 직접 협업하는 애들 덕분에, 1년 전엔 꿈도 못 꿨던 방식으로 내 컴퓨터를 돌리고 있어. Lemonade가 그걸 해낸 거지. GUI는 진짜 최소한의 기능만 있어서 에이전트나 채팅, 본격적인 작업용으로는 추천 안 하지만, 며칠씩 시간 낭비 안 하고 소프트웨어 성능 테스트해 보기엔 딱이야.

10/10점 준다.

링크 여기 있어: lemonade-server.ai

링크 얘기가 나와서 말인데, 하이브리드 모드랑 직접 하이브리드 모델 만드는 법은 여기서 더 읽어봐: https://ryzenai.docs.amd.com/en/latest/llm/overview.htmlhttps://ryzenai.docs.amd.com/en/latest/llm/overview.html

---

뭐, 내용은 이게 다야. 그냥 공유하고 싶었어. 1년 된 내 컴퓨터가 소프트웨어 기술 발전 덕분에 아직도 현역이라는 게 너무 신나네.

이제 딱 하나 바라는 게 있다면 MTP 지원 하이브리드 모델이야. Qwen 3.6에 Unsloth가 도입한 그 속도 향상 기술이 있거든. 근데 3.6 GGUF는 그냥 "ONNX로 변환"이 안 돼서 AMD가 "새로운 프로세서 형태"에 대한 가이드를 따로 만들어 놨더라고. 가이드는 여기 있어: https://ryzenai.docs.amd.com/en/latest/oga_op_prepare.html

혹시 시도해 볼 사람 있으면 허깅페이스에 꼭 공유해 줘!

참고로 이거 다 내가 직접 쓴 거야. LLM 도움 안 받았고, 그냥 "새로운 신기술"에 미친 개발자의 열정으로 쓴 글임.