vLLM now has PLE disk offload support on nightly
vLLM 나이틀리 버전에 PLE 디스크 오프로드 기능이 추가되어 대규모 모델 운용 효율성이 기대됨.
github.com
원문 사이트로 이동
vLLM의 새로운 디스크 오프로드 기능에 대한 사용자들의 궁금증과 관련 기술 경쟁 구도에 대한 의견이 오가고 있습니다.
이렇게 오래 걸린 게 진짜 이해 안 가는데, 다음 주 Qwen4 준비하려고 이제야 머지하는 듯.
다양한 모델을 지원하는 통합 서빙 엔진을 유지하는 게 확실히 새로운 기능 도입을 어렵게 만드는 요인임. PR에서 DeepSeek engram 관련 논의도 볼 수 있음.
llama.cpp는 훨씬 더 다양한 모델을 지원하는 통합 엔진이면서도 이 기능을 꽤 오래전부터 지원했음. (vLLM도 통합되어가는 중이지만, 내 생각엔 여전히 통합 엔진이라기보단 모듈을 느슨하게 모아놓은 것에 가까움.)
근데 걔네는 자금 지원도 엄청 받고 neocloud 업계 전체가 걔네한테 달려있는데, 더 빨리 발전하고 quant 지원이나 연구도 더 잘해야 하는 거 아님? (exllama나 strata 같은 애들이 하는 거 보면 말이야)
왜 이해가 안 간다는 거지? vLLM 개발자들은 기업 사용자라 VRAM 부족할 일이 없어서 그런 거 아님?
Strata나 Ninfer처럼 ngram 테이블 SSD 스트리밍을 지원하는 다른 엔진들과의 '경쟁'(가벼운 의미로)이 도움이 된 듯.
난 병렬/동시 요청을 많이 해서 vLLM을 주력으로 써왔음. Strata랑 Basalt를 QFN NVFP4로 써봤는데 요청이 다 큐에 쌓이더라. 병렬 처리나 컨텍스트 길이 건드려봐도 별 소용 없었음.
Ninfer랑 Infernix가 병렬 요청이랑 속도는 잘 뽑는데, 안정성 문제도 있고 전용 모델을 써야 하는 게 단점임.
결국 내 워크플로우엔 안정적인 속도와 병렬 실행이 제일 중요한데, vLLM이 SSD 스트리밍 지원해 줘서 기쁨.
Ninfer나 Strata는 vLLM이랑 경쟁 상대가 아니라고 봄. 진짜 경쟁 상대는 SgLang, TokenSpeed, DeepInfer지.
거기에 먼저 적용되는 걸 생각하면 진짜 이상하네.
이제 이걸 Strata보다 더 좋은 선택지로 볼 수 있을까?
Strata가 직접 타겟팅하는 하드웨어에서는 아마 아닐걸. Strata는 단순히 디스크에 n-gram 테이블을 지원하는 것 이상의 기능을 하거든. 수동으로 튜닝된 결정 사항들이 엄청 많아.
vLLM이랑 engram을 디스크에 올려서 4.1 flash 돌려본 적 있는데, 이거 새로 나온 기능임?
아마 포크 버전으로 돌렸나 보네, 이건 공식 vLLM 기능임.
ㅋㅋㅋ 그냥 Claude한테 vllm 커널 다시 짜달라고 해. 나 몇 달 전에 시스템 빌드할 때 하룻밤 만에 다 끝냈음.
유출된 모델 샤드를 통해 Fable 5의 거대한 규모와 아키텍처를 분석하며 모델 복원 가능성을 논의하는 커뮤니티 반응.
유출된 모델 샤드를 통해 Fable 5의 거대한 규모와 아키텍처를 분석하며 모델 복원 가능성을 논의하는 커뮤니티 반응.
Anthropic이 20배 사용량을 홍보하고 실제로는 10배만 제공한 것에 대해 사용자들의 허위 광고 논란과 법적 대응 요구가 빗발치고 있습니다.
Anthropic이 20배 사용량을 홍보하고 실제로는 10배만 제공한 것에 대해 사용자들의 허위 광고 논란과 법적 대응 요구가 빗발치고 있습니다.
Tibo의 최근 업데이트와 운영 방식에 대해 사용자들의 불만과 엇갈린 평가가 이어지고 있습니다.
Tibo의 최근 업데이트와 운영 방식에 대해 사용자들의 불만과 엇갈린 평가가 이어지고 있습니다.