AI 에이전트가 제대로 작동하지 않는데, 제가 뭘 놓치고 있는 걸까요?

AI를 주니어 엔지니어처럼 대해야 합니다. 그냥 "X가 안 돼요"라고만 하면 안 돼요. 모델은 추가 정보가 없기 때문에, 왜 버튼이 작동하지 않는지, 버튼이 원래 뭘 해야 하는지 파악할 도구가 없으면 해결책이 나올 때까지 계속 헛돌 겁니다. 그리고 목표를 명확히 주지 않았으니 결과가 틀릴 수도 있고요.

솔직히 opencode 같은 걸 설치하거나, Pi를 본인 필요에 맞게 더 잘 설정하는 연구 과정을 거치는 게 좋습니다.

문제는 얘가 뭘 원하는지 분명히 알고 있다는 거예요. 버튼이 뭘 하는지 식별할 수 있고, 왜 작동 안 하는지 추측도 하고, (사고 과정에서) 잠재적인 수정안을 내놓기도 하거든요.

문제는 그 이후에 뭘 하는 게 정말 끔찍하다는 거죠. 버튼이 뭘 하는지 파악하고 나서, 그걸 또 10번이나 더 파악하고 있어요. 수정안에 대해 추론하고 나서, 똑같은 수정안을 가지고 또 10번이나 더 추론하고요. 아, 버튼이 뭘 하는지 다시 생각해 봐야겠네. 아, 고칠 수 있겠네. 아, 방금 구현 코드를 찾은 파일에 버튼이 있을지도 모르겠네. 좋아, 수정안을 제안해야지.

이걸 계속, 계속, 계속, 계속 반복해요.

하지만 그게 핵심이에요. 모델은 모르는 겁니다. 읽고 다시 읽고 다시 생각하는 과정이 그 해결책이 맞다는 확신을 강화하고, 그제야 변경 사항을 적용하는 거죠.

내부적으로 이 모델들은 무작위 숫자와 가중치로 작동합니다. 버튼이 정확히 뭘 해야 하는지 알려주면 모델의 해당 부분을 미리 가중치로 설정하게 되어, 깊게 연구하지 않아도 훨씬 빠르게 문제를 식별하고 해결할 수 있습니다. 그렇게 안 하면 모델이 스스로 그걸 찾아내야 하죠.

사고 과정에서 버튼이 뭘 하는지 '말한다'는 건 이해합니다. 하지만 이 모델들은 그런 행동을 하도록 튜닝되어 있어요. 특히 DeepSeek가 그렇죠.

다른 모델을 써보세요. 사고 과정(thinking) 표시를 꺼보세요. 소모된 사고 토큰에 집착하기보다는 에이전트가 제공하는 결과물에 집중해 보세요.

저는 AI가 장기 기억이나 중기 기억조차 없다고 생각하고 다룹니다. 아주 똑똑하지만 기억력이 없으면 당신이 뭘 원하는지, 어떻게 하길 원하는지, 작업에 대한 기준이나 성공 조건이 뭔지 알 수 없고 알려고도 하지 않죠. 이걸 컨텍스트 엔지니어링이라고 합니다. 이걸 마스터하면 에이전트가 똑똑하기만 하다면 당신이 원하는 방식 그대로 거의 모든 일을 하게 만들 수 있습니다.

컨텍스트를 관리하는 다양한 메커니즘이 있는데, 더 알고 싶으면 답글 주세요.

그 'compact' 후 'error: operation aborted' 뜨는 거, 저도 겪어봤어요. 컨텍스트 제한을 150k 토큰으로 바꿨는데, 어쨌든 해결하려고 Pi한테 다시는 이런 일 없게 하라고 시키고 있습니다. 저도 DeepSeek v4.1 쓰고 있고요.

Pi는 처음 써보는데 토큰을 훨씬 적게 써서 저한테는 큰 장점이에요. 하지만 아직 제 openchamber 인스턴스만큼 유능하게 만들지는 못해서 갈 길이 좀 멉니다.

Pi Chamber는 사용하기 꽤 괜찮다고 추천하고 싶네요.

'Planing with files'라는 깃허브 레포가 있는데 유용할 거예요. 개인적으로는 MemOS와 Codebase Intelligence를 결합한 더 고급 메모리 시스템을 사용합니다. 그런 걸 설치해 보세요. 그리고 Pi한테 에이전트들이 실제로 그걸 사용하게 하라고 지시하세요.

근데 잘 모르겠네요, 질문하신 내용이 좀 모호해서요.