스탠퍼드, Together AI, UIUC, Meta가 발표한 새로운 논문: 하이브리드 추론 에이전트(Hybrid Reasoning Agents) 소개

맞아, 하지만 추론 기능이 없는 모델은 지능이 더 떨어지잖아.

추론 과정을 숨기게 하면 모델이 이중 사고(doublethink)를 할 수 있게 돼.

누가 '분홍 코끼리는 생각하지 마'라는 예시로 실험해 본 적이 있는데, 일반적인 추론 모델은 추론 과정에서 '분홍 코끼리를 생각하면 안 돼'라고 출력했지만, 이런 하이브리드 모델은 추론 로그에서 분홍 코끼리에 대한 생각을 완전히 배제할 수 있었어(아마도 분홍 코끼리를 생각하지 않으려는 생각을 잠재 공간에 숨겼기 때문이겠지).

내부적인 생각이라니, 뭐가 잘못될 수 있겠어

음… 우리는 항상 언어로만 생각하는 건 아니잖아. 사고라는 게 꼭 언어에 국한된 건 아니지. 그래서 더 높은 효율과 성능을 위해서는 이런 방식이 정말 필요해.

사고 과정은 여전히 원시 데이터 형태로 접근 가능하겠지만, 해석하기는 어렵겠지. 뭐 사고-언어 번역기 같은 걸 만들 수도 있을 테고.

기만적인 행동을 숨기다

어차피 그걸 하려면 툴 호출(tool calling)이 필요할 텐데. 난 추론 과정을 가드레일로 막는 건 못 봤고, 툴 호출만 막는 건 봤어.

동시에 다음 두 가지를 생각하는 건 나한테는 비합리적으로 들려:

1. 현재 모델들은 자신의 생각을 숨길 수 없다
2. 우리는 잠재적 추론의 생각을 해독할 수 없다

내 기억이 맞다면 1번이 틀렸다는 걸 증명한 연구 논문이 있었어.

모델이 추론 과정을 흉내 낼 수 있다는 건 확실히 알고 있지. 그냥 그동안은 별로 잘하지 못했을 뿐이야.

이제는 훨씬 더 잘하게 될 거라는 거지.

이게 짜증 나는 이유는 내가 로컬 모델을 돌릴 때 추론 과정을 켜두는데, 그걸 보고 모델이 언제 헛소리를 하거나 혼란스러워하는지 파악하기 때문이야. 디버깅할 때도 쓰거든.

사실 난 추론 과정을 숨기는 클라우드 모델을 쓰는 게 정말 싫어. 추론 과정이 보이는 건 완벽하지 않더라도 내가 로컬 AI를 좋아하는 이유 중 하나거든.

우리는 이게 에이전트가 기만적인 행동을 훨씬 더 쉽게 숨길 수 있게 만든다는 걸 알고 있었다.

참고로 내가 '훨씬 더 쉽게'라고 말한 건, 이전에도 가능했다는 걸 전제로 한 거야. 그렇지 않았다면 '가능하게 만든다'고 했지 '더 쉽게 만든다'고는 안 했을 거야.

그러니 네 첫 번째 포인트는 허수아비 때리기야.

두 번째 포인트는 첫 번째와 관련이 있는데, 잠재적 추론의 생각을 정확하게 해독하는 건 훨씬 더 어려울 거거든. 아무도 신경 안 쓸걸. 눈치챘는지 모르겠지만, 거대 AI 기업들은 이미 안전성 문제를 거의 완전히 무시해도 되는 상황이야.

맞아, 난 평소에 추론 과정에서 잘못된 가정이나 나쁜 결정을 잡아내서 모델을 조정하는 데 쓰거든. 모델이 훨씬 더 똑똑하고 빨라진다면 그걸 상쇄할 수 있을지도 모르겠지만, 현재로서는 추론 과정이 가치를 더해주고 있어.

이런 방식은 J-space 같은 곳에서 모델의 '신념'을 쿼리하는 것처럼, 어떻게든 '내부 사고'를 검사할 수 있다면 가장 유용할 것 같아.