850k 토큰 컨텍스트에서의 인상적인 성능

프레임워크 업그레이드 프로젝트에 사용 중인데, 컨텍스트가 클수록 유용할 것 같아서 써봤음. 지금까지 컴팩션 한 번 거쳤는데 아주 잘 돌아감.

팁 하나 주자면, 컴팩션 지시사항은 Opus가 직접 쓰게 해봐. 뭘 남기고, 뭘 버리고, 컴팩션 후에 뭘 다시 읽을지 말이야. 일반 텍스트로 한 줄이면 됨. 그걸 /compact에 복사해서 넣으면 돼.

최악의 조언이네. 세션당 컴팩션은 한두 번 이상 절대 하지 마. 컨텍스트 다 망가짐. 그냥 500k 미만에서 작업 끝내고 새 세션에서 다시 시작해. 비용도 아끼고 품질도 더 좋아짐. 그리고 아니, 풀 컨텍스트에 가까워지면 여전히 별로임. 600k 넘는 긴 작업에서는 모델이 뭘 하는지 지켜보면서 계속 손봐주고 방향을 잡아줘야 하더라고.

그건 네 경험이고. 난 보통 큰 문제 없이 90%까지 꽉 채워서 써. 난 데이터베이스 흐름을 설계하니까 엄청난 엔지니어링은 아니고, 그냥 설계 결정이랑 쉬운 SQL 정도라 그런 듯. 대신 개별 작업 사이에는 확실히 컴팩션함. 더 이상 건드릴 필요 없는 건 컴팩션하고, 전체 작업 하나가 들어갈 여유 공간은 항상 확보해 둠.