3090 2대로 8개 에이전트 동시 구동, 각각 250K 컨텍스트 (~600+ tok/s)

흥미롭네, 확인해 볼게!

TokenGate 같은 공격적인 사전 가지치기는 단일 턴 평가에서는 항상 좋아 보이지만, 에이전트가 후속 질문으로 넘어가면 초반에 버렸던 게 바로 다음에 필요한 기호나 의존성인 경우가 많아. 나도 내 에이전트 돌릴 때 정확히 이 벽에 부딪혔고, 150k 넘어서 다중 턴 추적을 일관되게 유지하려면 동적 캐시 재수화(re-hydration)가 유일한 방법이었어. 너는 에이전트 단계마다 전체 컨텍스트에 대해 토큰 게이트를 재평가하는 거야, 아니면 세션 내내 KV 캐시에서 영구적으로 잘라내는 거야?

매 단계마다 재평가하니까 아무것도 잘려 나가지 않아.

세션 전체의 KV 캐시는 시스템 RAM에 그대로 있어. 디코드 단계마다 각 어텐션 레이어가 'key sketch'를 통해 전체를 다시 점수 매기고 새로운 상위 ~2K 토큰을 뽑아내. 그래서 초반 턴에 필요 없던 것도 후속 질문에서 갑자기 필요해지면 바로 가져올 수 있어.

KV 캐시 가지치기(손실이 클 것 같은데) 없이 Gemma 26B A4B나 Qwen 36B A3B로 돌리면 얼마나 들어갈 것 같아? 난 차라리 그렇게 하고 싶거든. MoE는 어텐션이 더 작아서 다른 조건이 같다면 KV 캐시가 자연스럽게 더 가벼울 테니까. 내가 본 임시 토큰 가지치기 방식들은 결과가 다 처참하거나 긴 학습이 필요했거든.

대충 계산해 보면, 카드당 복사본 하나씩 해서 250K로 에이전트 2개 정도? 두 카드에 복사본 하나를 나누면 6개 정도 되겠지만 더 느려지겠지. 전체 KV 캐시가 시스템 RAM에 있으니까 사실 가지치기를 하는 건 아니지만, 1%를 얼마나 효과적으로 선택하느냐에 달려 있는 것 같아. 꽃잎을 잘라내는 게 아니라 모래 속에서 자석으로 가장 자성 강한 것들만 골라내는 느낌이지.

...int4 KV 캐시라니... 8비트는 괜찮을지 몰라도 4비트로 내려가면 정확도가 엄청나게 떨어져. 모델이 사실상 전두엽 절제술을 받은 수준이지.

250k 깊이에서 모든 needle 테스트는 성공했음 (물론 포괄적인 건 아님... 지금까지는 주말 동안 급하게 만든 프로젝트라 테스트가 더 필요함).

코드 라인 검색에서는 5/6점을 받았는데, 지적한 대로 아마 4비트와 8비트의 차이 때문일 거임. 차이는 단지 RAM 용량뿐이지만, 예산이 한정된 상황이라면 그 작업 수행 시 83%의 성공률로 외삽된다고 가정할 때 감수할 만한 수준일 수도 있음.

전체 컨텍스트를 시스템 RAM에 유지하고 매 단계마다 지금 당장 중요한 ~1%만 불러온다.

근데 이런 방식은 어텐션 패턴의 입력인 value 벡터를 깨뜨리는 거잖아. 작동할 수도 있겠지. 예를 들어 Mistral은 슬라이딩 윈도우를 쓰는데, 이건 부분 집합을 선택한다는 점에서 대략적인 근사치거든. 하지만 모델이 다음 값을 찾을 때 보는 방식은 분명 다를 거야.

QSA는 벡터를 만들기 위해 전체 컨텍스트를 훑는다는 점에서 이거랑은 좀 달라. 그냥 전체 값 계산 대신 샘플링 원리를 쓸 뿐이지. 여전히 전체 데이터셋을 소스로 의존하고 있기도 하고.

누가 알겠어, 어쩌면 근본적인 아키텍처 개선을 찾아낸 걸지도 모르지. 그렇다면 축하해! 하지만 이건 모델이 제대로 예측할 능력을 무작위로 만들 것 같아.