ChatGPT의 메모리 시스템... 진짜임?

ChatGPT 메모리 시스템, 지금 완전히 맛이 갔다

혹시 나만 이런 거 겪는 중이냐?

ChatGPT가 예전에 저장해둔 레거시 메모리나 이전 대화 맥락을 불러오는 건 확실히 잘한다. 긴 대화 나누다 보면 몇 달 전에 했던 결정 사항이나 정확한 아티팩트 이름, 지시 사항까지 싹 다 끄집어내는데, 이건 뭐 훌륭하지.

근데 "이 짧은 메모 좀 저장해줘"라고 딱 말하는 순간, 갑자기 메모리 쓰기 시스템에 접근할 권한이 없다고 개소리를 시전한다. 장난하나 지금?

더 어이없는 건 이거다.

1. 새 채팅창 열어서 "메모 XYZ 저장해"라고 하면? 바로 됨. 옘병.

2. 내가 직접 메모리 인터페이스 들어가서 똑같은 내용을 수동으로 추가한 다음, 다시 대화창으로 돌아오면 ChatGPT가 바로 인식함.

결국 시스템 상태가 이 모양이라는 건데:

• 저장된 메모리 읽기 권한은 있음
• 예전 대화에서 파생된 메모리 접근도 됨
• 다른 곳에 저장된 파일이나 아티팩트도 다 가져옴
• 메모리 직접 수정 가능한 UI도 있음
• 근데 정작 대화 중에 어시스턴트가 메모리를 쓰는 경로만 지 맘대로 사라지거나, 아예 잘못된 명령을 호출함.

내 경우엔 ChatGPT가 결국 지가 메모리 쓰기 시도하기 전에 파일 처리하고 다른 도구들을 먼저 써버려서, 그 과정에서 메모리 수정 경로가 막혔을 수도 있다고 실토하더라. 한마디로 어시스턴트가 순서를 잘못 잡아서 프로세스가 꼬인 거라는 소리임.

그걸 인정하고 나서도 돌아오는 대답은 여전히 "메모리 쓰기 실패, 저장 안 됨" 이게 끝이다.

이게 최선이냐? 한쪽 경로가 막혔으면 더 작은 페이로드를 쓰든, 다른 명령 경로를 타든, 순서를 바꾸든 해서 어떻게든 성공시켜야 할 거 아냐. 왜 지 메모리 시스템을 쓰려고 사용자를 셔틀로 만드냐고. 새 채팅창 열어서 저장하게 만드는 꼬락서니라니... 진짜 어이가 없네.

더 빡치는 건 아래 항목들이 서로 뒤섞여 있어서 뭐가 뭔지 하나도 모르겠다는 거다.

• 저장된 메모리(Saved Memories)
• 메모리 요약(Memory Summary)
• 참조 대화 기록(Reference Chat History)
• 대화 계보(chat lineage)
• 라이브러리에 생성된 파일(generated files in Library) (이건 좋음!)
• 그리고 정체불명의 "레거시" 메모리 레이어 (새 메모리 기능 켜져 있는데도 수정은 안 되면서 예전 정보는 계속 튀어나옴. 헷갈린다고? 내가 지금 딱 그 꼴임!)

불러온 정보가 어디서 튀어나온 건지, 메모리 지시 사항이 실제로 저장된 건지, 아니면 그냥 현재 대화창에만 남아있는 건지, 나중에 압축되거나 삭제될 동적 요약의 일부가 된 건지 알 길이 없다.

내 '저장된 메모리'가 꽉 찼을 수도 있는데, 그렇다고 예전 메모리가 사라지는 것도 아니고 새로운 요약형 메모리는 계속 생겨남. 그럼 메모리 기능을 끄는 게 답인가? 아니잖아? 도대체 뭐 하자는 건지 모르겠네.

장기 프로젝트 돌리는 입장에서 이건 진짜 심각한 문제다. 나는 메모리를 표준 문서나 아티팩트에 대한 참조 인덱스 정도로 쓰거든. ChatGPT가 문서 전체를 메모리에 박아두길 바라는 게 아님. 그냥 이런 간단한 지시 사항만 기억하면 된다고.