겉보기엔 간단해 보이지만, 막상 구현하려면 놀라울 정도로 어려운 AI 에이전트 기능은 무엇인가요?

끊임없이...

처음부터 CUA(Contextual User Assistance) 구현하기

문맥 관리. 여러 에이전트가 같은 작업을 건드리면 토큰 비용이 빠르게 불어남. fable로 직접 측정해 봤는데, 원시 도구 호출 하나가 14,300 토큰을 썼고, 내 개인 설정인 o8을 통한 같은 결정은 550 토큰이 들었음. 하지만 각 작업에 필요한 문맥이 계속 변하고 늘어나고 줄어들기 때문에 여전히 완벽하진 않음.

진지한 질문: 다른 사람들은 여러 에이전트가 매번 비용을 다시 지불하지 않고도 같은 문맥을 필요로 할 때 인계를 어떻게 처리함?

문맥을 유지하기 위해 Agent Prime repl을 구현하려고 하는데...

나한테는 부분 실패를 처리하는 게 문제임.

도구 호출 하나는 성공하고 다음 건 실패하면, 재시도 시 이전 작업을 반복해서 중복이 생김.

어려운 부분은 도구를 호출하는 게 아님. 실제로 완료된 게 뭔지 추적하고 상황을 악화시키지 않으면서 안전하게 재개하는 것임.

내 에이전트 하네스(NotNativeAgent)에는 도구 호출과 결과를 기록하는 tooluse:pre(자동 권한 검토)와 tooluse:post 원장이 있음. 이 원격 측정 데이터는 자기 학습과 자기 개선을 위한 전반적인 거버넌스 메커니즘에도 사용됨.

쓰레기(slop)가 아닌 콘텐츠 생성하기, 예를 들면 이 글 같은 거.

우리는 간단하지만 신뢰할 수 있는 에이전트 플랫폼을 만드는 중임. 당신의 질문은 핵심을 찌름. 이건 내가 매일, 매시간 가장 많이 생각하는 부분이고 흥미로운 학습 과정이었음.

문맥은 이 긴 글을 읽을 때 도움이 됨. 사람들이 원하는 건 복잡한 게 아니라 평범한 것들임. 예를 들어, 이 사진으로 멋진 전문가용 헤드샷을 만들어달라거나, 조카가 수영을 배우는 사진첩을 만들어달라는 식임. (시도해보고 싶다면 poppyfield (dot) ai에 있음).

그래서 나는 의도적으로...

인간 인계는 거의 모든 사람을 골치 아프게 만드는 부분임. '그냥 대화를 전달하면 되지'라고 들리지만, 실제 어려운 부분은 원시 채팅 로그가 아니라 사람이 빠르게 흡수할 수 있는 형태로 문맥을 보존하는 것과, 사용자가 짜증 나기 전에 인계할 적절한 타이밍을 아는 것임. 대부분의 구현은 사용자가 이미 짜증 난 뒤에 너무 늦게 인계하거나, 문맥을 전혀 없이 넘겨서 사람이 결국 대화 전체를 다시 시작하게 만들어 목적을 상실하게 함...

아, 캘린더 일정 관리는 이론상으로는 정말 간단해 보이지만 막상 구현하려고 하면 예외 상황이 미친 수준임. 에이전트가 시간대를 오해해서 회의를 놓치거나, 모든 캘린더와 제대로 동기화되지 않아서 중복 예약이 되는 등 정말 끔찍함.

우리는 한동안 이 문제에 갇혀 있었음. 결국 해결책은 Aident Loadout을 사용하는 거였음. 클릭 한 번으로 에이전트를 구글 캘린더에 직접 연결할 수 있게 되면서 신뢰성 문제의 90%가 해결됨.

내가 시킨 걸 첫 번째에 제대로 수행하기?