llama.cpp B9387 Significant AMD/ROCm PP Update
llama.cpp b9387 릴리스를 통해 AMD CDNA 아키텍처를 위한 MFMA 최적화가 포함된 주요 ROCm PP 업데이트가 진행되었습니다.
https://github.com/ggml-org/llama.cpp/releases/tag/b9387
MFMA는 MI100, MI200, MI300 시리즈 데이터센터 카드와 같은 AMD CDNA 아키텍처로 제한됩니다.
사용해 보셨다면 초기 결과를 공유해 주세요! ;)
llama.cpp의 이번 업데이트가 데이터센터용 AMD 하드웨어에만 집중되어 있어 일반 소비자용 하드웨어 사용자들의 아쉬움과 운영 방침에 대한 논쟁이 이어지고 있습니다.
7900xtx에서 1300tk/s 그대로네.
대단하네.
뭐 그렇지, "Non-AMD-MFMA 경로(NVIDIA, RDNA, MFMA 없는 CDNA1)는 master랑 바이트 단위로 똑같으니까."
AGI 달성했네.
젠장, 7900 xtx에서 1300이라니 눈물 나네.
모델 나름이지. ~30B dense 모델이면 거의 예상된 결과임.
AMD CDNA 아키텍처 전용이라 일반 소비자랑은 전혀 상관없네.
그래도 좀 생각해 봐. llama가 데이터센터 하드웨어로 이걸 해냈다면, 조만간 소비자용 AMD 하드웨어에서도 성능 향상을 기대할 수 있는 다른 길이 열릴지도 모르잖아.
뭐 CDNA는 여러 세대가 있지만 3.5는 RDNA 카드 중 특정 서브셋이긴 하지. 그래도 하드웨어 행렬 연산 관련해서는 어차피 RDNA3 이상부터만 가능하긴 할 거야.
llama.cpp의 애증의 롤러코스터네.
아니, 소비자용 카드에는 아예 존재하지도 않는 명령어를 사용하는 거라 안 돼.
그렇군. 맞아. 하지만 난 그 노력을 말하는 거야.
야, 5년이나 지났어. 이제 AMD 좀 그만 밀어.
소비자용 AMD 하드웨어인 RDNA 3.5를 위한 비슷한 PR이 이미 있었어. 근데 특정 아키텍처 전용이라 코드 베이스 복잡해진다고 거절당했지.
MFMA는 MI100, MI200, MI300 시리즈 데이터센터 카드인 AMD CDNA 아키텍처 전용이잖아. 음... 그럼 CDNA라는 특정 아키텍처용 PR은 승인해 주고, RDNA 3.5 속도 향상 PR은 특정 아키텍처용이라고 거절했다는 거네.
GPT-3 서비스 종료에 대한 아쉬움과 함께, 기업의 일방적인 모델 폐기 정책을 비판하며 로컬 모델 보존의 중요성을 강조하는 반응들.
GPT-3 서비스 종료에 대한 아쉬움과 함께, 기업의 일방적인 모델 폐기 정책을 비판하며 로컬 모델 보존의 중요성을 강조하는 반응들.
작성자가 저혈당 쇼크로 의식을 잃어갈 때 ChatGPT가 음성으로 계속 말을 걸어 깨워준 경험담입니다.
작성자가 저혈당 쇼크로 의식을 잃어갈 때 ChatGPT가 음성으로 계속 말을 걸어 깨워준 경험담입니다.
Anthropic의 모델이 그동안 과도하게 사용하던 em dash(—)를 줄이는 등 세밀한 개선을 이뤄낸 것에 대한 사용자들의 긍정적인 반응입니다.
Anthropic의 모델이 그동안 과도하게 사용하던 em dash(—)를 줄이는 등 세밀한 개선을 이뤄낸 것에 대한 사용자들의 긍정적인 반응입니다.