b9180 llama.ccp MTP landed
llama.cpp가 b9180 버전으로 업데이트되며 MTP(Multi-Tensor Processing) 기능을 지원하기 시작함.
온 세상의 모니터들이 들뜬 마음으로 초록색 cmake 화면을 띄우고 있음.
MTP 도입으로 인한 성능 향상은 확실하지만, 메모리 사용량 증가와 OOM 문제로 인해 사용자마다 체감 성능과 안정성에 차이가 있음.
CPU나 Vulkan 사용자한테도 이득이 있음?
Vulkan은... 응. 다른 스레드에 t/s 통계 많이 올라왔어. CPU랑 ROCm은 잘 모르겠네. u/am17an
왜 ROCm이 무섭다는 거야? 지금 테스트 중인데 9060xt 16gb로 Q3.6 35b 돌릴 때 기본 60에서 10 토큰 더 나오는데.
Vulkan 프리필은 ROCm에 비하면 쓰레기임.
이거 맥에서도 쓸 수 있음?
듀얼 5060ti로 Qwen 3.6 27B UD Q6 K 돌릴 때 27-30 t/s 나오는데 MTP 버전은 65 t/s 나옴. 35B A3B 변종은 MTP 없이 117 t/s, MTP 쓰면 167 t/s 나옴.
MTP 쓰면 메모리 엄청 튀지 않음? 5060Ti + 5070Ti로 Qwen 3.6 27B 돌리는데 MTP 쓰면 OOM 터짐. MTP 안 쓰면 잘 돌아가는데. Unsloth Q4_K_XL 쓰는 중.
중복.
어, 나도 컨텍스트 거의 50% 줄여야 했음. 근데 데비안에서 텐서 스플릿 돌리는 중이고 q8 캐시가 깨져서 FP16 써야 함.
그럼 나한텐 별로네.
GPT-3 서비스 종료에 대한 아쉬움과 함께, 기업의 일방적인 모델 폐기 정책을 비판하며 로컬 모델 보존의 중요성을 강조하는 반응들.
GPT-3 서비스 종료에 대한 아쉬움과 함께, 기업의 일방적인 모델 폐기 정책을 비판하며 로컬 모델 보존의 중요성을 강조하는 반응들.
Claude Sonnet 5.5는 이전 세대보다 30% 더 빠르고 저렴하며, 향상된 코딩 및 문서 작업 능력을 갖췄습니다.
Claude Sonnet 5.5는 이전 세대보다 30% 더 빠르고 저렴하며, 향상된 코딩 및 문서 작업 능력을 갖췄습니다.
Opus 5.5를 사용해 14만 줄 이상의 코드를 삭제한 스크린샷에 대해 사용자들은 구체적인 설명이 없다며 회의적인 반응을 보임.
Opus 5.5를 사용해 14만 줄 이상의 코드를 삭제한 스크린샷에 대해 사용자들은 구체적인 설명이 없다며 회의적인 반응을 보임.