AI 코딩이 아직도 진짜 못하는 게 뭐야?

나는 작업별로 사양/태스크를 나눠서 빌드해. 그래서 에이전트는 주어진 태스크랑, 태스크 관련 기능 외에는 아무것도 바꾸지 말라는 시스템 프롬프트만 보게 되지. 그러고 나서 다른 LM 계열(gema)이 검토해서 편향을 제거하고 불필요한 변경 사항을 잡아내. 가끔 뚫릴 때도 있지만 훨씬 덜해.

아니, 딱히 그렇지도 않음. 내가 써본 '이 파일만 건드려' 규칙은 전부 다 잘 작동하다가 어느 순간 갑자기 안 먹히더라고.

경계를 '지정'하는 가장 좋은 방법은 내가 그걸 알아차리는 순간 바로 채팅에서 짚어주는 거임. '너 이거 망쳤어'가 아니라 '내가 x를 요청했는데 왜 이런 식으로 했어?'라고 묻는 거지. 그러고 나서 계속 파고드는 거임: 다른 세션에서도 이런 적 있었어? 가서 확인해 봐. 아니면 그 패턴 자체를 조사하는 별도의 작업을 따로 만드는 것도 좋고. 막상 그게 진짜 할 일이라고 인식시키면 의외로 자기 실수를 스스로 잘 찾아내더라.

오, 에러를 더 잘 잡아내려고 AI의 사고 과정을 읽는다는 거 좋은 포인트네! 성공하려면 결국 우리가 어느 정도 마이크로매니징을 해야 하고, 단순히 빠르다는 이유만으로 100% 신뢰하면 안 되는 것 같아.

맞아, 나도 대부분 그렇게 찾아내. 에러로 뜨는 게 아니라, 에이전트가 뱅뱅 돌거나, 뭘 언급할지 말지 스스로 고민하거나, 아니면 프롬프트를 잘못 이해하는 식으로 나타나거든. 징후를 찾거나, AI가 고려는 했지만 답변에는 빼먹은 내용을 찾아내는 거지.

내가 했던 말을 반복하고 있다는 걸 깨닫거나, 프롬프트가 모호해서 AI가 어떻게 받아들였는지 확인하고 싶을 때 그 시간이 빛을 발해. 나도 내가 뭘 요청했는지 항상 확신이 있는 건 아닌데, AI의 사고 과정을 보면 얘가 뭘 들었는지 알 수 있거든. 결국...

진짜 똑똑한 접근 방식이네!

확실한 울타리를 쳐두고, 프롬프트나 작업 범위에 명시되지 않은 걸 발견하면 즉시 멈추고 보고하라고 시켜야 해.