와 이거 진짜 대박 논문이네; 컨텍스트 언어 모델

맞긴 한데, 완전히 다 다시 하는 건 아님. 일단 추론 엔진에 캐싱 최적화를 도입해서 이 문제를 해결했음(구체적인 건 나도 잘 모름).

둘째로, 어차피 압축(compaction)을 쓴다면 속도 저하는 피할 수 없음(그래도 이건 컨텍스트 앞부분에서 매번 n번씩 발생하는 게 아니라 딱 한 번만 일어남). 논문을 보면 실시간 압축이 특정 작업에서 성능을 높여주는데, 이건 작업과 무관한 노이즈를 줄여주기 때문인 것 같음.

마지막으로, 논문에서는 모델이 마지막 메시지만 수정하도록 유도할 수 있다고 함. 이렇게 하면 꼭 필요한 경우가 아니면 수정하지 않도록 꽤 안정적으로 제어할 수 있음.

그 '최적화'라는 게 사실상 변경된 부분만 다시 계산해서 기존 KV 캐시에 이어 붙이는 거잖아. 그럼 변경된 부분 이후의 값들은 구버전(stale) 값을 쓰는 셈이지. 논문에서는 정확도에 영향 없다고 주장하지만 누가 알겠음? 심지어 이 조잡한 방식조차도 변경된 부분의 길이가 다를 수 있어서 키(key)를 다시 회전시켜야 함. DeepSeek Flash의 CSA나 HCA 같은 복잡한 어텐션 메커니즘에 구현하기는 훨씬 어려울 것 같음.

이거 RLM의 진화 버전인가?

이거 사실상 캐시 압축(cache compaction) 아님? 몇 번 반복하면 모델이 맛탱이 가는 그거?

꽤 흥미롭긴 한데, 6.1 Sol이랑 이 논문 가지고 15분 동안 토론해 본 결과, 이게 기존의 핸드오프 방식인 랄프 루프(Ralph Loop) 시스템보다 나은지 잘 모르겠음.

만약 재작성(rewrite)의 목적이 압축 과정 중에 일어나는 거라면, 그건 사실상 랄프 루프 반복이랑 비슷함.

이론적으로는 이 방법으로 반복 중간에 컨텍스트를 다듬을 수 있겠지만, 그렇게 하려면 컨텍스트를 다시 계산해야 할 텐데(지금 당장 테스트해 볼 방법은 없음), 요즘은 프롬프트 캐싱이 표준이라 속도를 높이려는 목적이 무색해지는 거 아님?

헤.. GLM-flash가 메모리를 요구하길래 파일을 줬던 적이 있는데, 이건 훨씬 더 견고해 보이네. 요약하는 대신 메시지나 툴 결과를 직접 삭제할 수 있다는 건가?

매 N 메시지마다 시작이나 중간 부분을 수정하는 건 계산 비용이 더 많이 들 것 같은데, 사람들이 다들 자기 추론 엔진을 수정하려고 할지 의문이야..

그래도 N번마다 정리하면서도 같은 프리픽스를 유지하게 하는 개념 자체는 더 적응력이 좋을 듯.

성능 면에서 바짝 뒤쫓고 있는 이 '요약(Summary)'이라는 건 대체 뭐야 ㅋㅋ

방식 정확도(%) ↑ PFLOPs / Q ↓ 요약 34.7 → 42.1 4.01 → 2.19 CLM 28.8 → 42.5 1.52 → 1.34

기본 상태에서 요약이 더 잘 작동하고 학습 후에도 거의 비슷하게 작동한다면 말도 안 되는 거지.

몇몇 작은 Qwen 모델로만 테스트했는데, 더 큰 모델에서는 무너질지도 모름.

Meta Superintelligence lab에서 최근에 쓰레기 같은 논문을 너무 많이 내놓고 있어. 난 FAIR 논문들이 훨씬 좋더라!

젠장, 좋네. 나중에 다시 보려고 댓글 남김.

이게 미래 모델이 나아갈 길임. 왜냐고? 현실에서도 생각을 정리하거나 계획을 세울 때, 안 되는 건 지우고 구겨서 버리고 성공한 것만 남기잖아. 모델도 무한한 메모리를 가진 게 아니니까, 성공으로 이어지지 않은 추론 과정을 버리는 게 장기적으로는 훨씬 빠르고 효율적이며 전체적으로 더 작은 컨텍스트를 요구하게 될 거임.