제발 부탁인데, AI한테 '모르겠다'고 말하는 법 좀 가르쳐라

그거 인간 뇌도 마찬가지 아냐? 인간의 자신감은 정답률이랑 별 상관없잖아.

둘 다 맞는 말이야. 요즘 LLM은 '모르겠다'고 말하기도 하니까 불가능한 건 아니지. 확실성을 판단하기 어려운 만큼, 벤치마크나 사용자들의 비추천으로 페널티를 받는 것도 사실이고.

당연히 점수는 정규화할 수 있고, 일반 대중은 최신 모델들이 어떻게 학습됐는지 잘 모르겠지. 하지만 정확성을 보장하는 다른 방법들도 있어. 서브 에이전트 루틴이나 제2의 에이전트 의견 같은 거.

그건 둘 다 문제의 근본 원인을 해결하지 못하고 덮어버리는 임시방편일 뿐이야.

맞아. 근데 너랑 나도 많은 사람들을 만나봤지만, 인간에게도 알고리즘적으로 '정확성을 보장'할 방법이 있는지 모르겠어. 만약 있다면 어땠을까!

그래, 환각을 완전히 제거하는 건 불가능할지도 몰라. 지능 그 자체의 한계일 수도 있지. 인간도 면역이 아니라는 건 사실이야. 많은 사람들이 지능이 향상되면 환각 문제도 저절로 해결되길 바라고 있지.

인간은 '모르겠다'거나 '확실하지 않다', '생각은 그런데 먼저 확인해봐라'라고 말하는 걸 더 잘하잖아.

맞아, LLM은 메타인지가 안 되잖아, 그렇지? 하지만 두 모델을 엮어서 하나가 다른 모델의 자신감을 평가하게 하면 가능해. 마치 하나는 렌(Ren), 하나는 스팀피(Stimpy)처럼 말이야. 이건 협력적으로 잘 작동하고, 통계적 유의성을 높이기 위해 여러 검사기를 병렬로 돌릴 수도 있어. 이게 내 회사 연구 프로젝트 중 하나인 '와일드 에이전트 하네스'야. Claude나 OpenAI API가 있다면 네가 말한 걸 수행할 수 있는 걸 보내줄 수 있어.

이거 해결할 수 있으면 나한테 말하지 말고 AI 회사들한테 가서 말해라. 돈 엄청나게 챙겨줄 거다.