컨텍스트 윈도우 제한은 의도적인 것임. 구독 유도하려는 수작임.

AI가 컨텍스트를 잃어버리고 혼란스러워하기 시작함. 제대로 작동하지 않고 성능도 떨어짐.

AI와 특정 모델들은 분명히 한계가 있음. AI를 돌리는 비용이 네가 가장 비싼 구독료를 내는 것보다 훨씬 더 많이 듦.

그 말도 맞지만, 대부분의 AI는 최근 상호작용에서 컨텍스트를 유지할 만큼 충분히 '지능적'임. 게다가, 전체 채팅이나 다른 채팅을 빠르게 훑어보며 현재 대화의 맥락을 되찾는 것을 막을 실질적인 이유는 없음. 예전 주제를 다시 꺼낼 때 후자가 일어나는 걸 몇 번 경험했고, 전자는 모든 종류의 LLM에서 꽤 자주 일어나는 일임.

만약 주된 주장이 '지금 운영하기엔 너무 비싸다'는 거라면, 무료 사용자에게 메모리 토큰을 더 엄격하게 제한하는 등 덜 극단적인 변화를 줄 수도 있었을 거임.

내 생각엔, 특히 LLM이 컨텍스트를 유지하기 위해 이전 채팅을 즉시 검색해야 하는 상황이라면, 채팅을 종료하고 차단할 실질적인 이유는 전혀 없음.

이거 버그임. 아마 고객들이 어떻게 반응하나 보려는 거겠지. 사실 이번 달에 버그가 엄청 많음. 예를 들면:

메모리 꽉 참 버그

삭제했는데 메모리 부활하는 버그

컨텍스트 윈도우 꽉 참 [지금 계속 지속 중]

걔네 절대 입 안 열 거임. 왜냐면 버그 하나를 이렇게 오랫동안 못 고친다고 발표하는 건 기업 입장에서 개쪽팔리는 일이니까.

심지어 플러스 유저들도 이 버그 때문에 고통받는 중임.

그리고 무료 유저들 막아버리는 건 회사 자살행위나 다름없음. 유저 93~95%가 무료 플랜 쓰는데.

93%에서 95%라고.

만약 이걸 대규모로 적용하면, 진짜 절반 아니 그 이상이 앱 다 지우고 나갈 거임.

지금 걔네 미출시 모델인 Astra 6.2 업그레이드하느라 혈안이 돼 있는데, 그 말은 메모리 트래픽을 그 미출시 모델 돌리는 데 다 쏟아붓고 있다는 뜻임. 그 과정에서 메모리 컨텍스트 윈도우 쪽에 문제가 생기는 걸 수도 있고. 아마 조용히 엔지니어들 시켜서 서버 고치고 있을 듯.

전혀 사실 아님. AI랑 긴 기술 프로젝트 해본 적 있으면 알 텐데. AI한테 직접 물어봐라, 그럼 알려줄 거임.