Lemonade에 vLLM ROCm이 실험적 백엔드로 추가됨

Llama.cpp는 GPU/CPU 분산 추론 처리가 진짜 예술임. VRAM 적어도 레이어를 CPU 메모리로 넘겨서 MoE 모델 잘 돌릴 수 있거든. vLLM도 지원은 하지만 llama.cpp만큼 쉽진 않고 애초에 그런 용도가 아님. 게다가 llama.cpp는 거의 어디서든 돌아가는데 vLLM은 지원 하드웨어가 훨씬 제한적임.

둘 다 각자 장점이 확실해서, 우리가 둘 다 지원하고 통합 API로 왔다 갔다 하기 편하게 만들려는 거임.

관리자들 많이 있는 사내 채널에 전달했음. 뭐 좋은 소식 있으면 다시 알려줄게.

진짜 고마워! ROCm이 CUDA의 확실한 대안이 됐으면 좋겠음. 하나 더 전달해줄 수 있으면 학습 자료 얘기도 좀 해줘. 엔비디아는 CUDA 관련 서적을 엄청 지원했거든. GPU 프로그래밍 배우려면 CUDA 책밖에 없는 수준임. 일리야 수츠케버가 OpenCL 대신 CUDA로 알렉스넷 만든 이유도 그거고. 다른 프레임워크 아는 사람 한 명당 CUDA 개발자 수천 명씩 있는 이유기도 하고.

교육 자료 부족한 건 AMD 내부에서도 다들 공감하는 부분임. 방금 https://developer.amd.com/playbooks/ 를 런칭했는데, 소프트웨어 스택 위에서부터 내려가는 방식이지만 언젠가 커널 최적화 수준까지 닿길 바라고 있음.

첫걸음으론 좋지만 GPGPU 프로그래밍을 대체하긴 부족함. 내가 보기에 진짜 아쉬운 건 AMD GPU로 GPU/병렬 프로그래밍 기초부터 배울 자료가 없다는 거임. 내 생각에 엔비디아의 가장 큰 해자는 GPU 프로그래밍 배우려는 사람들 대부분이 CUDA로 시작한다는 점임. 그래서 나중에 다른 걸 배우더라도 CUDA 쪽 지식과 경험이 압도적일 수밖에 없음.