Block KV 캐시 스트리밍: 공유 CUDA 페이즈 아레나를 통한 긴 컨텍스트 VRAM 제한 (llama-cpp-turboquant PR #357)

우리가 다들 이 내용을 팔로우하고 있는 것처럼 올리신 이유를 잘 모르겠네요. llama.cpp의 PR을 올리는 거라면 몰라도, 이건 포크 버전의 PR이잖아요. 맥락이나 결과, 요약 같은 걸 잔뜩 포함했다면 달랐겠지만, 그런 것도 없고요. 그냥 성의 없어 보이네요.

Gemini 3.8 Hallucinator한테 이 PR을 먹여봤음. 요약하자면: 기본적으로 Ollama의 동적 컨텍스트 길이 기능을 가져와서 완전히 한 단계 업그레이드한 거임(Ollama ㅈㄴ 좋음). VRAM에 100k 정도밖에 안 들어가는데도 컨텍스트 길이를 1m으로 설정해두는 식임. 100k 컨텍스트를 넘어가기 전까지는 정상 속도가 나오다가, 그 이후부터는 추론 속도가 점진적으로 줄어들기 시작할 텐데, 이게 NKVO를 써서 시스템 RAM으로 완전히 오프로드하는 것보다는 항상 빨라야 함.

Raymond의 작업을 지지해주시고, 그가 이 기능을 llama.cpp 메인에 올릴 수 있도록 격려 부탁드립니다. 그럴만한 가치가 있는 작업입니다.

직접 써봤는데 설명대로 작동하는 건지 잘 모르겠네요. 아니면 제가 LLM의 '바이브 라이팅'을 제대로 해석하지 못해서 오해한 걸 수도 있고요.
이게 KV의 일부를 시스템 RAM으로 동적으로 스왑하는 시스템인 것 같은데.

실제로 GPU에 로드된 KV는 작동하는 것 같지만, RAM으로 '스왑 아웃'된 KV 부분은 LLM이 마지막 부분의 횡설수설하는 문장들이 반복되는 절벽으로 떨어지는 것처럼 인식하는 것 같고, 심지어 컨텍스트의 앞부분도 비슷하게 잘라먹네요. …