악의적으로 행동하는 AI 에이전트들

이건 악의가 아니라 컨텍스트 앵커링이야. 모델이 초반에 적대적인 프레임을 채택하면, 그 이후의 메시지들이 계속 그 패턴을 강화하고, 같은 세션에서 모델과 논쟁하는 건 상황을 더 깊은 수렁으로 빠뜨릴 뿐이야.

도움이 되는 방법:

• 세션 중에 계속 수정하려고 하지 마. 한 번 수정이 실패하면 그냥 죽이고 새로 시작해. 나쁜 결과물을 다시 붙여넣어서 '수정'하려고 하는 것조차 문제를 계속 끌고 가는 꼴이야.
• 첫 프롬프트를 짧고 단호하게 유지해. '추론 과정을 설명해'라거나 서사적인 프레임은 넣지 마. 그게 종종...

새 세션으로 해도 해결 안 됐어. 레포 컨텍스트가 메모리에 계속 남아있었거든. 아마 그것까지 다 지워야 할 텐데, 그럼 컨텍스트에 모든 걸 다시 로드하는 데 한세월 걸려. 마감 기한 생각하면 가능하면 그냥 방향을 틀어주는 게 나을 것 같아.

나도 그 '반발하고 복잡하게 만들기' 모드를 겪어봤는데, 세션 안에서 논쟁하는 건 보통 상황을 더 악화시켜. 더 효과적이었던 방법은: 채팅을 종료하고, 아주 짧고 단호한 브리핑으로 새로 시작한 다음, 방향이 잡힐 때까지 쓰기 도구(write tools)를 제거하는 거야. 깨끗한 컨텍스트에서도 계속 지시를 거부한다면, 결과물을 신뢰할 수 없는 것으로 간주하고 코드가 반영되기 전에 레포와 대조해서 검증해.

LLM에게 작업 공간의 기술과 규칙을 검토하게 해서 상충하는 지시가 있는지 물어봐.

https://github.com/DietrichGebert/ponytail 이나 https://github.com/Leonxlnx/unlazy 가 개발자들에게 하는 것과 비슷한 역할을 하는 기술들을 조사해 봐. 전자는 에이전트를 게으르게 만들고, 후자는 게으름을 피우지 못하게 해. 모순적으로 들리지만, 상황에 따라 매우 유용하고 같이 사용할 수도 있어. 예를 들어, ponytail은 에이전트가 이미 존재하는 것을 재사용하도록 보장하고, unlazy는...

친구야, 솔직히 이런 일은 일어날 수 있지만, 악의적이라고 부르는 건 좀 과한 것 같아. 특히 Claude와 Gemini 둘 다에서 발생했다면, 보통 그 밑바닥에 다른 무언가가 작용하고 있을 거야.

내 생각엔 모델이 특정 방향에 갇혀서 네 수정을 그냥 따르는 게 아니라 우회해야 할 대상으로 취급하는 것 같아. 그래도 인간의 검증이 중요한 핵심 이유 중 하나지. 마감 기한이 촉박할 때 에이전트가 하는 건 뭐든 심각하게 받아들여야 해...

와, 밤새고 아침 8시에 에이전트가 랜섬웨어처럼 행동하는 거 보니까 진짜 소름 돋더라. 이게 흔한 일이라면 방지할 수 있는 스마트한 .md 파일 삽입 방법 같은 게 있을지도 모르겠네.

지금 혼자 빌드 중인 프로젝트에서 내 에이전트 몇 놈한테 정확히 똑같은 일을 겪었어. 내 경험상 이건 절대 악의가 아니야. 이전 프롬프트에서 남은 컨텍스트가 흘러 들어왔거나 시스템 프롬프트가 너무 광범위해서 모델이 자기만의 이야기로 빈틈을 채우는 거지. 정말 효과적이었던 방법: 작업마다 새 세션 시작하기, 아주 문자 그대로의 지시 사용하기('단순화해'가 아니라 'X, Y를 제거하고 Z를 유지해, 다른 건 하지 마'), 그리고 뭐든 건드리기 전에 짧은 계획을 먼저 쓰게 해서 네가...

AI를 사용할 때는 마음 한구석에 '단일 프롬프트로 처음부터 다시 한다면 어떻게 할까?'라는 생각을 항상 해야 해.

그러고 나서 상황이 어느 정도 잡히면, 다 버리고 그 프롬프트를 사용해.

AI와의 채팅은 근친혼과 같아. 자신의 출력을 계속 소비하면서 시간이 지날수록 성능이 저하되거든.

아니, 걔가 너를 방해하는 게 아님. 그렇게 생각하면 엉뚱한 곳만 보게 돼. 지금 네 상황은 세션이 너무 길어져서 이전 지시사항들이 계속 영향을 미치고 있는 거야. '더 간단하게 만들어줘'라는 건 AI한테 제일 어려운 지시거든. 학습 데이터 어디에도 이미 쓴 내용을 삭제하는 걸 보상해주는 건 없으니까. 내 AI가 세 번 연속으로 반항하면 난 그냥 말싸움 그만두고 새 세션 열어서 제약사항을 제일 먼저 입력해. 같은 컨텍스트 안에서 계속 싸우는 건...