캐싱 기능 대폭 업그레이드

보통 이런 말 잘 안 하는데...

출처가 어디야?

네가 생각하는 그런 의미가 아닐 것 같아서 말이야.

그냥 DeepSeek를 베낀 것 같아:

https://insufferable.dev/posts/the-ai-race-just-got-awkward/

100만 토큰당 890MB밖에 안 돼서 이제 긴 세션에 대한 페널티가 없어.

모든 걸 영원히 메모리에 유지하는 건 절대 아니야. DeepSeek보다 더 효율적인 방법을 찾았더라도 관리해야 할 데이터가 너무 많아. 890MB는 수천만 명의 사용자를 고려하면 엄청난 양이고, 2027년에는 수억 명으로 늘어날 텐데. 50~100배 개선을 이뤘다 쳐도 여전히 너무 많아. 내 추측엔 알고리즘 개선과 NVIDIA Bluefield 같은 기술을 조합한 것 같아. 이건 포토닉스를 사용해서 일반적인 방식보다 훨씬 빠르게 메모리로 데이터를 로드하거든. 아마 지금쯤이면 충분히 도입해서 완전히 의존할 수 있는 수준이겠지.

논문 722편 중 알고리즘 효율성이나 최적화에 관한 건 하나도 없더라. 왜일까. 🙃

뭐라고? 걔네 분명히 캐시 미스 비용 감수하고 이전 세션 다시 시작할 때 다시 쓰는 걸 거야. 어차피 그때 되면 보통 다시 캐싱될 테니까. 걔네 입장에서는 비용이 거의 안 들겠지만 사용자 입장에서는 신경 안 써도 되니까 개꿀이지. 좋은 개선이고 걔네 입장에서 아주 똑똑한 결정이라고 봄.

이런 거에 조심스럽게 낙관해야 한다는 게 좀 짜증 나네.