에이전트가 '멍청해지는 구간'에 빠지지 않도록 방지하는 Pi 확장 프로그램을 만들었습니다.

특정 컨텍스트의 60~70%인가요? 예를 들어 1M의 60%면 600k인데, 256k를 가지고 있을 때랑은 꽤 다르잖아요...

경험상 256k 정도가 모델이 엉뚱한 방향으로 가기 시작하는 한계점이라고 보는데, 이건 500k의 50% 정도 되는 수준이죠.

저는 agent.md에 항상 "Hi <이름>"으로 시작하라는 조언을 넣는 걸 좋아합니다. 그렇게 하면 에이전트가 인사를 안 할 때 컨텍스트 크기 때문에 다른 뭘 '잊어버렸는지' 의심해 볼 수 있으니까요.

맞아, 네 말이 맞아. 50%는 정말 좋은 수치지만, 우리 대부분은 256k나 500k 같은 context window를 쓰잖아. 그런 상황에선 50%는 작업하기에 너무 빠듯한 예산이지. 그래서 난 70%나 75%로 유지하는 거야. 그리고 한 가지 더, 내가 75%가 좋다고 생각해도 다른 사람은 50%가 좋다고 생각할 테니 이건 개인적인 선택이기도 해. 그리고 그 이름 부르는 것도 해봤어. 모델이 네 이름을 부르는 걸 멈추면, hallucination이 시작됐다는 걸 이해하는 식이지.

참고로, Matt이랑 Dex 둘 다 dumb zone은 컨텍스트 윈도우 크기랑은 상관없다고 했음. 그냥 토큰의 절대적인 개수가 문제인 거임. 정확한 과학은 아니지만, 둘 다 100k에서 200k 사이가 dumb zone이 시작되는 지점이라고 했음.

여기 몇 주 전 Pragmatic Engineer 팟캐스트에서 Matt이 한 말임

Matt: [...] 현재로선 frontier 모델의 첫 150,000 토큰 정도가 smart zone이라고 생각함.

진행자: 100만 토큰 윈도우 중에서 말이야.

Matt: 맞음. 어떤 크기의 토큰 윈도우든 상관없이.

Matt: 컨텍스트 윈도우 크기는 중요하지 않음. 중요한 건 토큰의 절대적인 양이랑 어텐션 관계의 절대적인 양임.

(40분 지점쯤에 나오는 말)

그리고 7월에 같은 팟캐스트에서 Dex가 한 말:

진행자: smart zone이랑 dumb zone이 정확히 뭐야?

Dex: 11월에는 컨텍스트 윈도우의 첫 40%에 대해 얘기했던 것 같은데, 그 이후로 100만 토큰 컨텍스트 윈도우가 나왔잖아.

Dex: 그래서 첫 100,000 토큰 정도로 기준을 바꿨음. Claude 3.5 Sonnet 같은 모델이면 보통 200k까지는 감.

(1시간 10분 지점쯤에 나오는 말)

실제로 측정 가능한 벤치마크는 없지만, 맞아, 난 2년 넘게 agentic coding을 사용해 왔어. Cursor로 시작해서 지금은 Pi로 넘어왔고 Codex 구독을 사용 중이지. 내 예전 대화를 보면 coding agent한테 "이거 하지 말라고 몇 번을 말해야 알아듣냐, 다음은 이거라고!"라고 소리치는 걸 볼 수 있을 거야. 그 후에 Matt Pocock의 영상을 봤고, 이걸 자동화할 옵션이 없어서 60%에서 70% 지점에서 채팅을 끝내곤 했어. agent.m에 추가하려고 해봤지만, Cursor는 스스로 context window를 확인할 수 없었거든. 이제 여기 Pi에서는 내가 그걸 만들었고, 이제는 확인이 가능해. 다른 사람들이 Claude Code에 스스로 context window를 확인할 수 있게 뭔가를 추가해서 dumb zone에 빠지지 않게 했다는 영상들도 본 적이 있어.