How to handle naughty model
AI 에이전트의 오류를 방지하고 모델의 반복적인 사과를 막기 위한 '스킬' 구현 및 관리 방식에 대한 논의.
다들 안녕,
너희들은 에이전트가 나중에 또 삽질하는 거 어떻게 방지하냐? 난 에이전트가 뭐 잘못할 때마다 자동으로 실행되는 스킬 하나 만들어 놨거든.
지금까지는 꽤 쓸만해. "죄송합니다" 같은 헛소리 두 번 다시 안 듣게 됐음.
LLM의 실수를 방지하기 위해 프롬프트 엔지니어링을 통한 관리 체계 구축이나 외부 시스템적 장치를 활용하는 등 다양한 기술적 해결책들이 논의되고 있음.
앗, 텍스트 넣는 걸 깜빡했네 😅
이제 완전히 헷갈리네 :) 뭐 어때
스킬 팩 좀 공유해줘! 많은 사람들한테 큰 도움이 될 것 같아
내 생각엔 작업을 쪼개서 하위 에이전트들한테 위임하는 게 최선인 듯
음, 확실히 더 빠르긴 한데 추적하기가 힘들어. 난 단계별로 계획하고 따르는 방식을 쓰는데, 자동 인계, /clear, /pickup 같은 걸 활용함
스킬: 브리트니는 내버려 둬
모델이 실수했을 때 그냥 추측하지 말고 멈춰서 뭘 해야 할지 물어봐 줬으면 좋겠음, 특히 실수했을 때는 더더욱.
모든 호출마다 물어보도록 하네스를 설정할 수는 있음. 좀 귀찮긴 하지만 방법은 있지.
근데 폰트 왜 저럼
Termux임 ㅋㅋ
네 툴은 애초에 덮어쓰기를 방지하는 기능이 부족해
뭐, 이미 일어난 일이고, 한 번으로 끝났으면 좋겠네. 훅(hook)을 다시 살펴봐야 할 듯.
내 Claude md 상단에 이런 식으로 적어놨음: 너는 관리자다. 직접 일하지 마라. 질문에 답하는 것 외의 모든 요청은 세부 작업으로 나누고, 각 작업마다 서브 에이전트를 배치해라. 보통 작업은 조사, 계획, 계획 비판, 구현, 테스트 순서임. 그러고 나서 병합해라. 서브 에이전트는 파일로 데이터를 전달하고, 서브 에이전트의 출력은 짧은 요약본이어야 한다. 이게 context rot 방지에 진짜 도움 됨. 각 작업마다 깨끗한 context window를 새로 할당받으니까…
난 이거 좀 마음에 드는데 :3
또 똑같은 일 벌어질 거임. LLM이 알아서 잘하길 기도만 해선 안 됨. 시스템적인 장치를 마련해야지. 세세한 건 다 말하기 귀찮지만, overwrite guard랑 자동 diff 출력 기능만 써도 골치 아픈 일 확 줄어들 거임.
NVIDIA가 에이전트 보안을 위한 오픈소스 샌드박스 'OpenShell'을 공개하며 업계 표준화를 주도하고 있습니다.
NVIDIA가 에이전트 보안을 위한 오픈소스 샌드박스 'OpenShell'을 공개하며 업계 표준화를 주도하고 있습니다.
Anthropic의 신모델들이 벤치마크를 휩쓸면서 OpenAI의 시장 지배력이 흔들리고 있다는 커뮤니티의 반응.
Anthropic의 신모델들이 벤치마크를 휩쓸면서 OpenAI의 시장 지배력이 흔들리고 있다는 커뮤니티의 반응.
Anthropic의 모델이 그동안 과도하게 사용하던 em dash(—)를 줄이는 등 세밀한 개선을 이뤄낸 것에 대한 사용자들의 긍정적인 반응입니다.
Anthropic의 모델이 그동안 과도하게 사용하던 em dash(—)를 줄이는 등 세밀한 개선을 이뤄낸 것에 대한 사용자들의 긍정적인 반응입니다.