소개: DNR-Bench (응답하지 마시오 벤치마크)

Claude랑 Gemini 둘 다 나한테 뭔가 출력해야 한다고 하던데, 그래서 빈 응답은 네가 추측한 대로인 듯.

내 말은, 이 서브레딧도 이미 친목질(circle jerk) 판이 된 지 오래니까, 그냥 똥글 올리는 걸 즐기는 게 낫지.

이게 'ffmpeg 한 번에 구현하기' 벤치마크보다는 낫네.

대단하네. 근데 출력 토큰이 0개인 거랑, 출력 토큰 + 추론 토큰이 0개인 건 구분해야 함.

내 생각엔 응답할 필요가 없다고 추론하는 추론 토큰은 있어도 괜찮을 듯.

사실 Claude한테 적당히 티키타카 좀 하면 둘 다 가능하게 할 수 있음. U+200B 같은 거 말고 진짜 stop 토큰으로 말이야:
https://imgchest.com/p/wl7l8633q4x

언젠가 이걸 해내는 모델을 보고 싶네.

그냥 똥글 싸는 거일 수도 있겠지만, 난 이게 진짜 중요하다고 생각함. 모델이 뭐라도 '말해야 한다'고 느끼는 거 자체가 인간처럼 행동하려는 놈치고는 좀 거슬림. 한번 해봐: '내가 마지막 말을 하고 싶어. 잘 가.'라고 하면 '알겠습니다. 안녕히 가세요.'라고 답함. 다시 잘 가라고 해도 똑같이 답하고. 사용자가 마지막 말을 하게 해달라는 요청을 무시하는 거임. 모델이라면 출력이 필요 없다는 걸 판단할 수 있어야지. 툴 콜만 하는 턴일 수도 있잖아: 사용자: '...'

이거 멍청한 짓임. LLM은 이미 STOP 토큰을 써서 말하기를 멈춤. 그냥 DNR 토큰을 쓰라고 지시하면 될 일임. 난 Claude Code에 응답하지 말고 <...>만 보내서 확인하라고 지시해 뒀음.

사실 진짜로 '응답 없음'을 원하는 게 아닐걸. 뭔가 일어나고 있다는 걸 알길 원하겠지. 빈 줄을 받는 건 꽤 불쾌하고, 낮은 수준의 DNR 토큰도 딱히 별로임.