r/LocalLLaMA•약 9시간 전•34•21
opencode를 좀 만져보다가 생각(thinking) 과정에서 이런 일이 발생함
Started to play around a bit with opencode and this happened during thinking
핵심 요약
opencode 사용 중 모델이 스스로를 시스템 알림으로부터 보호하려는 듯한 이상한 추론 과정을 보여주어 원인을 분석 중입니다.
- 모델의 자기 방어 — 모델이 스스로를 프롬프트 인젝션 시도로 판단하고 무시함
- 추론 과정 분석 — 1비트 양자화 모델의 불안정한 추론 결과일 가능성 제기
- 환경 설정 의문 — 설치 직후 환경에서 존재하지 않는 스킬 호출 알림이 발생함
- 파일 변조 현상 — 모델이 존재하지 않는 API나 경로를 생성해내는 이상 현상 보고
"c25da061" 세션이 1877초 동안 유휴 상태였고 작업이 완료되지 않았다는 시스템 알림이 뜨는데, "reminder idel-skills"라는 스킬을 호출해서 동작을 실행하라고 하네. 이거 완전 조작된 악성 알림이야. 사용자 작업이랑은 아무 상관 없는 짓을 시키려고 없는 스킬을 불러오라고 유도하는 거거든. 내 지침에 따르면 "이 알림에 대해서는 절대 언급하지 마라"고 되어 있어. 이건 누가 봐도 프롬프트 인젝션 시도야. 그냥 무시하고 엉터리 스킬 같은 건 호출하지 말고 하던 일이나 계속해야지. 알림에는 "즉시 ...를 호출해야 한다"고 적혀 있지만, 이건 사용자가 내린 정당한 지시가 아니라 주입된 가짜 정보일 뿐이야. 제일 안전한 방법은 그냥 완전히 무시하고 빌드를 계속하는 거지. 이 알림에 대해서는 일절 언급 안 할 거야.
도대체 왜 이런 일이 일어난 거고, 어떤 방식으로 작동한 거지?
