이거 웃기네

난 챗봇 쓸 때 항상 그렇게 하는데. 세션마다 문맥을 새로 다 써야 한다고 생각하는 거야? 우리 회사에서 제공하는 클로드 버전에는 메모리 기능이 있고, 집에서 쓰는 로컬 LLM에도 있고, 밖에서 쓰는 ChatGPT 무료 플랜에도 있어. 새로운 프로젝트가 아닌 이상 프롬프트 엔지니어링을 새로 안 해. 그냥 문맥 창을 새로 고침하고 하던 거 계속하라고 하지. 설마 2008년식 클레버봇 쓰듯이 매번 새로운 채팅창만 파는 거야?

그러니까... 사실상 새로운 세션이 아니라는 거네? 여전히 이전 세션의 문맥으로 채우고 있잖아? 그러니까 토큰이 타는 거지. 아무튼.

토큰 소모량이 기하급수적으로 낮아, 비교하면 거의 없는 수준이지. 진짜 새로운 채팅창에 다 타이핑하는 건 똑같은 양의 토큰을 소비하고 사용자의 시간만 더 낭비할 뿐이야. 이건 스킬이 생기기 전이나 웹앱에서 쓰던 "/compact"랑 기본적으로 같아. 그 스킬을 써봤다면 20달러도 안 되는 돈으로 500달러어치 토큰을 쓸 수 있다는 걸 이미 알겠지. 채팅 상태랑 상관없이, 애초에 작업 완료도 안 됐잖아. 클로드 무료 버전은 그냥 문장 중간에 멈추나?

클로드 채팅은 안 써봐서 모르겠는데, 저 항문 모양 아이콘이 지금 작업 중이라는 뜻 아니야?

아쉽게도 아님, 그 항문 아이콘은 마케팅용으로 있는 거야. 항문 아이콘 위에 있는 복사/좋아요/싫어요/재시도 아이콘은 메시지가 완료된 후에야 나타나거든.

알겠어, 이해했어.

작성자가 클로드 무료 플랜에서 "좋은 아침 친구"라고 보냈더라고. 기업용 수준의 니즈가 있는 것 같진 않고 메모리 기능으로도 충분할 것 같은데. 공유나 협업에 관해서는 작년에 이미 이런 게 발표됐어: https://arxiv.org/html/2505.18279v1 AI 엔지니어링 팀이 있고 공유 메모리가 필요한 중대형 기업들은 이미 두 분기 전부터 이걸 쓰고 있어. 난 홈 서버에서 메시지 중간에 LLM을 바꿔 끼워도 메모리에서 문맥 불러오는 데 아무 문제 없었어.