llama.cpp 오픈 PR 목록 - CPU/RAM/디스크/하이브리드 관련 - CPU 전용 및 하이브리드 추론에 최적화

적응형 MTP는 범용이야.

나머지는 대부분 AMD 전용이고. 가장 큰 문제는 AMD가 ROCm을 CUDA 호출의 1대1 대체제로 만드는 데 급급하다는 거야. CUDA는 엔비디아 중심이잖아. 그게 문제의 근본 원인 같아. ROCm 호출이 그렇게 작동하긴 하지만, llama.cpp가 엔비디아 백엔드에 맞춰져 있어서 성능 문제가 많이 발생해.

그 1대1 가정(CUDA와 동일하게 작동할 것이라는 생각)을 깨기 시작하니까 엄청난 성능 향상이 있었어...

나도 왜 이렇게 지연되는지 이해가 안 가. 내가 받은 피드백이라곤 질문 3개가 전부였고, 그것도 내가 답변했는데 3번이나 재촉해도 무시당했어.

이제는 그냥 신경 안 쓰려고. 내 패치 세트를 아는 사람들은 다 혜택을 볼 수 있게 계속 작업할 거야. 커뮤니티에서 많이 쓰게 되면 언젠가 무시하는 걸 멈출지도 모르겠지만, 더 이상 귀찮게 굴지는 않을 생각이야.

깊이(depth)에 따른 성능에 관해서는, 이게 집중적으로 다뤘던 부분인데…