100만 토큰 컨텍스트 윈도우는 거짓말인가?
Is the 1 Million token context window a lie?
핵심 요약
Gemini 웹 인터페이스에서 100만 토큰 컨텍스트가 제대로 작동하지 않는다는 사용자들의 불만과 해결책에 대한 논의.
- 컨텍스트 제한 — 웹 인터페이스 사용 시 실제 컨텍스트 윈도우가 광고보다 훨씬 작게 느껴짐.
- 데이터 누락 — 4만 토큰 정도의 대화에서도 이전 내용을 기억하지 못하고 잘라먹는 현상 발생.
- 해결책 제시 — AI Studio를 사용하면 전체 컨텍스트를 활용할 수 있다는 의견이 다수임.
- 성능 논란 — 모델의 정보 검색 능력과 실제 컨텍스트 활용 방식에 대한 의구심 제기.
Gemini는 100만 토큰 이상의 컨텍스트 윈도우를 광고하지만, 웹 인터페이스를 사용하면 턱없이 작은 컨텍스트 윈도우만 제공됨.
정확히 41k 토큰 길이의 Gemini 대화를 내보내서 첫 메시지를 기억하는지 테스트해 봄. 컨텍스트가 대화의 절반 정도에서 공격적으로 잘려 나갔음.
이게 무슨 상황인지, 혹시 똑같은 경험을 한 사람 있는지 궁금함.


