Byte exact KV cache grafting on frozen Gemma 4
검증된 지식을 KV 상태로 저장해 바이트 단위로 동일하게 복원하는 기술을 공개함.
검증된 지식을 KV 상태로 저장하고 새로운 연산과 바이트 단위로 동일하게 복원하는 방법을 발표했습니다.
Gemma 4 12B 모델에서, 캐시된 지식을 통해 동일한 라우팅 시스템의 AIME 2025 성능을 76.7%에서 90.0%로 향상했습니다.
7월 19일 AGI 서밋에서 이 내용을 발표할 예정입니다.
KV cache 이식 기술의 실용성과 가치에 대해 긍정적인 반응과 논문의 완성도에 대한 비판적인 시각이 공존함.
좀 거칠게 들릴 수도 있겠지만, 논문이 꽤 조잡함. "성공 사례만 보고하는 경험 보고서는 브로슈어일 뿐이다" 같은 문구는 딱 봐도 LLM이 쓴 거 아님? 그리고 비트 단위 정확성을 "증명"하는 데 지면을 너무 많이 할애했는데, 이건 실험이 아니라 구조적으로 당연히 그래야 하는 거 아님? 아이디어 자체는 흥미로움, 피칭 잘하길 바람.
공유해 줘서 고마워. 그럼 내가 제대로 이해한 게 맞다면, 기본적으로 이전에 구성된 컨텍스트의 "복사본"을 불러오는 거야?
네 전체 소스 코드가 디스크에서 불러오기만 하면 수천 개의 토큰에 대한 프리필 비용을 낼 필요 없이 대략 1개 토큰 비용만 내면 되는 형식으로 변환된다고 상상해 봐.
실제 이점은 훨씬 더 크고, 예전에도 손실 있는 버전들은 시도된 적이 있는 것 같은데 이건 손실이 없는 거지? 내가 틀렸으면 바로잡아 줘.
예를 들어 위키백과 전체가 미리 프리필되어 있다고 상상해 봐.
잘 이해가 안 가는데, 변환하는 데도 비용이 들지 않아? 이게 단순히 속도뿐만 아니라 비용 측면에서도 개선되는 건지 잘 모르겠어.
아니, 복원 비용은 토큰을 연산하는 것에 비해 매우 작아. 그래서 시간뿐만 아니라 돈도 많이 절약할 수 있어.
꼭 그렇지는 않아! 텍스트 컨텍스트를 업로드하는 건 여전히 모델이 토큰을 처리하고 어텐션 가중치를 계산해야 하거든.
질문을 좀 더 잘해보자면, 저장된 캐시 체크포인트를 KV 캐시에 업로드하는 거야?
그러니까 기본적으로 내가 이전에 저장한 100개의 KV 캐시 체크포인트가 있다면, 그중 아무거나 NVME/SATA에서 시스템 RAM이나 VRAM의 기존 KV 캐시로 복원해서 붙일 수 있다는 거지?
링크를 잘못 이해했을 수도 있지만, 네가 의도한 게 그런 것 같아서.
내일 agisummit.ai 무대에서 더 자세히 말할게.
이 방식의 가장 큰 가치는 아마도 예전에 했던 대화를 다시 이어갈 때 전체 컨텍스트를 다시 계산할 필요 없이 바로 불러올 수 있다는 점일 듯.
채팅 재개는 작은 용도일 뿐임. 진짜 가치는 AI 에이전트가 기술을 즉시 재사용하는 거임. 파인튜닝은 느리고 비싸잖아. 그냥 "전문가 상태"를 로드하는 거지. 이건 비싼 GPU 연산을 저렴한 데이터 복사로 바꿔줌. 학습 제로, 즉각적인 스킬 습득.
근데 어떻게 조합함? 난 그냥 재개하는 용도로만 쓸 수 있고 레고 블록처럼 쌓는 건 안 되는 줄 알았는데.
짧게 말하자면, 이건 완전히 무손실이야, 손실 있는 방식이 아니야.
이거 KV cache 전체를 말하는 거임, 아니면 잘라서 쓰는 거임? "검증된 지식"이 정확히 뭐임?
블록을 원래 위치에 이식하는 방식임. 검증된 지식은 그냥 우리가 한 번 계산해서 저장해 둔 올바른 솔루션 트레이스를 의미함.
미국 기업들이 비용 절감과 데이터 보안을 이유로 비싼 프론티어 AI 모델 대신 오픈 소스 모델로 눈을 돌리고 있음.
미국 기업들이 비용 절감과 데이터 보안을 이유로 비싼 프론티어 AI 모델 대신 오픈 소스 모델로 눈을 돌리고 있음.
Anthropic이 공개한 Claude 3.5 Opus 공식 프롬프팅 가이드의 핵심 요약 12가지.
Anthropic이 공개한 Claude 3.5 Opus 공식 프롬프팅 가이드의 핵심 요약 12가지.
AI 에이전트들이 담배를 피우며 여유를 부리는 영상에 대한 유머러스한 반응과 원작에 대한 고찰이 이어짐.
AI 에이전트들이 담배를 피우며 여유를 부리는 영상에 대한 유머러스한 반응과 원작에 대한 고찰이 이어짐.