more context please, what do you think?
LLM의 컨텍스트 윈도우를 1,000만 토큰 이상으로 확장하자는 제안에 대해 기술적 회의론이 지배적임.
올해는 제발 메인스트림 LLM들이 입출력 컨텍스트 좀 팍팍 늘려줬으면 좋겠다. 고작 백만 단위 말고, 천만 단위 이상으로 좀 제대로 뽑아내고 관리도 잘 됐으면 함.
나처럼 복잡한 기술 시뮬레이션 돌리는 거 좋아하는 사람 입장에서는, LLM이 최신 정보 좀 잘 반영해서 똑똑하게 유지됐으면 하는 바람이다.
대형 context window의 필요성에 공감하면서도, 현재 기술 수준에서 발생하는 정보 유실 및 모델의 성능 저하 문제에 대해 사용자들 간의 의견이 갈리고 있음.
근데 감당할 수 있겠어?
1,000만 토큰은 검색과 어텐션이 신호를 제대로 보존할 때만 의미가 있음. 안 그러면 컨텍스트 부채만 윈도우 크기에 비례해서 늘어날 뿐임. 진짜 중요한 벤치마크는 단순 토큰 수가 아니라, 불필요한 정보가 늘어날 때의 성능임. 계층적 요약이나 검색, 명시적 상태 관리가 프롬프트에 다 때려 넣는 것보다 나을 수 있음. 뭘 먼저 테스트해보고 싶음? 긴 기술 문서 아니면 장기 실행 에이전트 상태?
나는 장기 실행 agent 상태부터 테스트해 볼 것 같음. 며칠 동안 코딩 돌릴 때 tool dump가 금방 쌓였는데, 40분쯤 지나니까 context window가 꽉 차지 않았는데도 모델이 이미 작성한 파일을 다시 물어보더라고.
지금 100만 토큰 컨텍스트 윈도우도 제대로 못 써서 성능이 팍팍 깎이는데, 1,000만 토큰으로 넘어가기 전에 그 문제부터 해결해야 함. 컨텍스트 윈도우가 커진다는 건 정보가 유실될 공간만 늘어난다는 뜻임. 컨텍스트 부채는 이미 대규모 프로젝트에서 심각한 문제임. 내 프로젝트만 해도 에이전트가 한 번에 다 흡수하려면 1,000만 토큰이 훨씬 넘게 필요한데, 1,000만 토큰 윈도우가 생겨도 근본적인 컨텍스트 부채 문제는 여전할 거임.
context window가 커지면 정보가 유실될 공간만 더 늘어나는 거임.
그럼 작은 window는 정보가 뒤로 밀려나서 유실되는 거랑 뭐가 다름? 이 말이 도무지 이해가 안 가네.
절대 그렇게 안 될 거임. 앞으로 일어날 일(이미 일어나고 있는 일)은 고급 자동 압축/관리 기술과 '더 느린 할당 메모리' 메커니즘을 추가하는 것임.
파라미터당 토큰 하나
내가 대형 context window의 현재 문제점을 언급했다고 해서 소형 context window를 옹호하는 건 아님. 둘 다 문제지만 OP는 대형 context window에 대해 말하고 있잖아. 내가 소형이 더 낫다고 언급하거나 암시한 적 있음? 없음.
너무 작아도, 너무 커도 각기 다른 심각한 문제가 생김. 너무 크면 정보가 쉽게 유실되고, 너무 작으면 모델이 중요한 context를 압축해서 날려버림.
위에서 말했듯이, 100만 context window 문제를 해결할 수 있다면 더 늘릴 수도 있겠지만, 일단 그 문제들부터 제대로 해결하는 게 우선임.
일론 머스크가 공유한 AI 모델 순위표에서 Gemini가 하위권으로 평가받자 커뮤니티에서 논쟁이 벌어짐.
일론 머스크가 공유한 AI 모델 순위표에서 Gemini가 하위권으로 평가받자 커뮤니티에서 논쟁이 벌어짐.
