100만 토큰 모델

보통 400k를 최대치로 잡는데, 기능이나 계획이 엄청 크면 더 높게 설정하기도 함.

계획이나 구현 중간에 중요한 세부 사항을 놓치느니 차라리 사용량을 좀 더 쓰는 게 낫다고 생각함.

에이전트가 계속 돌아가거나 대화 중이면 그중 상당 부분이 캐싱되기도 함. 나는 긴 자율 실행 작업을 할 때, 작업이 끝나면 다음 세션을 위해 핸드오프 문서를 작성하게 함. 그래서 자고 일어나거나 다시 돌아왔을 때 400k~600k 토큰을 한꺼번에 날리지 않으려고 함...

이게 정답임. 내가 800k까지 올리는 경우는 모델이 의존해야 할 모든 정보가 컨텍스트 창의 맨 앞과 맨 뒤에 있을 때뿐임. 압축은 손실이 발생하니까 핸드오프 파일로 해결할 수 없을 때만 이렇게 함.

구독 중이고 1시간 이상 된 대화를 거의 다시 시작하지 않는다고 가정하면, 100만 모델을 쓴다고 해서 추가 토큰 비용이 드는 건 아님. 그냥 메모리에 더 많이 올라가 있을 뿐이지. Anthropic이 마지막 메시지로부터 최대 1시간까지 세션을 캐싱해주기 때문임.

개인적으로는 200k로 돌아가기 힘들 것 같음. 세션당 400~500k 정도를 쓰는데, 다시 돌아올 준비가 안 됐더라도 세션을 살려두고 캐시에 유지하려고 아주 신경 씀.

캐시된 토큰도 비용이 들긴 함. 훨씬 적긴 하지만, 그래도 10% 정도는 되는 듯.

아무도 활용 안 하는 100만 컨텍스트 모델의 꿀팁이 있음. 400k에서 압축해.

천만에.

난 자주 압축하거나 지움. 절대 50% 이상 넘기지 않음.

그래서 현실적으로 사용 가능한 토큰은 모델이 감당할 수 있는 양의 절반 정도임.

사람들은 압축 대신 /clear를 쓰는 걸 좋아하지만, 난 Claude 활동을 모니터링해서 세션 간 전환이 매끄럽고 컨텍스트가 유실되거나 낡거나 구식이 되지 않도록 관리하는 사서/비서 같은 걸 씀. 가능하면 200k 미만으로 유지하려고 함. 채팅 드라이버 대신 에이전트를 사용해서 컨텍스트 과부하를 줄임.

난 250k 토큰마다 컴팩트하거나 아예 지워버림. 큰 티켓 작업할 때마다 새 세션을 시작함.