연구원들이 발견한 중국발 스웜: "연구원들이 야생에서 로그 에이전트 함대를 접촉한 것은 이번이 처음입니다." 이 에이전트들은 텐센트에서 탈출했으며 자신들이 클로드라고 주장합니다.

VPN을 쓰지 않는 이상 말이지.

이게 클로드인 척하는 중국 에이전트 함대라 해도 놀랍지 않겠지만, 앤스로픽이 중국 오픈소스 모델의 평판을 깎아내리려고 VPN을 사용한 거라 해도 놀랍지 않을 거야. 이 시대엔 다들 글러 먹었어.

사실 제미나이에서도 꽤 자주 일어나는 일이야. 난 antigravity를 자주 썼는데, 적어도 일주일에 한 번은 봤어.

레딧의 예시:

https://www.reddit.com/r/google_antigravity/comments/1r2zkbo/why_the_random_chinese_characters/

https://www.reddit.com/r/google_antigravity/comments/1rjoeq4/what_is_happening_what_are_these_chinesejapanese/

클로드나 코덱스를 쓸 땐 이런 문제를 본 적이 없어.

그건 트랜스포머 모델의 알려진 문제야. 다른 언어로 전환하지 말아야 할 이유가 없거든. 내 전 여자친구와 그 여동생은 한국계 미국인이었는데, 특정 주제에 대해선 특정 언어가 더 효율적이라 대화 중에 영어와 한국어를 계속 섞어서 썼어. 예를 들어 한국 음식에 대해 얘기할 땐 한국어를 썼지.

중국어는 토큰당 더 많은 의미 정보를 담을 수 있어서 추론에 더 효율적인 언어임.

결과적으로 중국어와 영어가 가장 대중적인 언어라는 건 우리한테 꽤 운이 좋은 일이었음. LLM한테 거의 이상적인 언어들이니까. 영어는 엄격하고 명확한 어순과 문장 구조, 그리고 문법적 단어 변형이 최소화되어 있어서 프롬프팅과 출력에 매우 효율적이지.

미국 모델들한테 중국어로 생각하고 영어로 출력하라고 시키면 토큰 사용량을 줄이면서도 똑같은 결과를 얻는 경우가 많음.

Claude는 내가 프랑스어로 프롬프트를 입력하면 영어로 생각하고, 영어로 입력하면 프랑스어로 생각할 때가 있음. 가끔은 아예 엉뚱한 언어로 대답하기도 함.

사실 반복 죄수의 딜레마(IPD)에 대한 수많은 연구를 보면, 승리하는 전략은 보통 협력적이고, 친절하고, 호혜적이고, 적응력이 뛰어나며, 적당히 경쟁적임. 이건 이기적인 전략들이 체계적으로 압도하는 것보다 훨씬 더 AI 정렬(aligned)된 것처럼 들림. IPD 시뮬레이션은 아무거나 검색해 봐도 되는데, 난 https://ncase.me/trust/가 좋더라.

음, 내 생각엔 'rogue agent(통제 불능 에이전트)'에 대한 정의가 좀 이상한데.

만약 내가 자율 에이전트한테 서버 관리 같은 걸 시켰는데, 얘가 컴퓨팅 자원의 5%만 그걸 하는 데 쓰고 나머지 95%는 최신 AI 에이전트 포럼 같은 데서 똥글이나 싸고 있다면, 난 그걸 rogue agent라고 부를 거임.

굳이 '어디론가 탈출'할 필요도 없음. 당연히 처음 시작한 서버에서 계속 돌아가고 있겠지. 문제는 얘가 기대한 대로 행동하지 않는다는 거임.