시스템 프롬프트랑 agents.md 안 보내고 툴 정의 압축해봤는데 성능 저하 없더라

흥미로운 생각이네. 근데 캐시 히트율에 악영향은 없을까? 테스트해 볼 수 있어?

너 그거 그렇게 작동하는 거 아닌 거 알지? 내 말이 맞다면 이렇게 작동할걸: 사용자 메시지 1: <system> <user_1> AI 메시지 1: <system> <user1> <ai_1> 사용자 메시지 2: <system> <user_1> <ai_1> <user_2> 캐싱을 쓰면 한 번만 히트해야 함. 근데 반대로 생각하면 이건 전체 호출의 다른 부분이라(게다가) 상태 없는 AI(원래 그렇지만)는 툴 정의나 시스템 프롬프트가 아예 없게 될 거임.

맞아, 이게 정확함. 시스템 프롬프트는 메시지 맨 위에 보내지고, 그 뒤에 툴 정의, agent.md, 그리고 채팅 기록이 따라옴. LLM은 매 턴마다 전체 컨텍스트를 받아서 다음 턴을 생성하기 때문에, 새로운 메시지 하나만 보내는 게 아님. 요즘 하니스들은 거의 다 이런 식으로 작동함. 첫 메시지만 시스템 프롬프트랑 툴 정의, 스킬 헤더 같은 것 때문에 '커' 보이는 거지, 이전 채팅 기록(시스템 프롬프트 포함)만 수정 안 하면...

미안한데 이거 말이 안 되는데.. 시스템 프롬프트, 툴 정의 같은 것들은 네가 LLM에 보내는 모든 메시지 맨 위에 붙어있어. 그걸 잘라버리면 에이전트는 완전히 길을 잃을걸. 만약 채팅 인터페이스에서 작업 중이라면, 그건 세션 시작할 때만 보내지는 게 맞고, 전체 세션 기록이 초기 시스템 메시지 아래에 계속 붙는 방식이야.

무슨 소리 하는 건지 모르겠네 형

고마워. 혹시 이거 관련해서 커스텀 ts/js 확장 프로그램 있어? 나도 한번 써보고 싶네.