다들 추론(reasoning) 레벨 'None'으로 설정해서 쓰는 사람 있음?

JSON 스키마 추출, 라우터 분류, 혹은 미리 계획된 diff 적용 같은 결정론적 하위 단계에서는 추론 기능을 끄는 게 아주 효과적임. chain of thought가 지연 시간만 늘리는 경우니까. 플래너 호출에는 medium 추론을 유지하고 도구 실행 턴에는 none으로 설정하면 정확도를 해치지 않으면서 루프 시간을 절반으로 줄일 수 있음.

executor가 줄 번호 기반 diff를 맹목적으로 적용하면 그런 일이 자주 발생함. 우리는 apply_diff 툴이 planner가 파일을 읽었을 때의 해시값과 현재 파일의 sha256을 대조하게 만들었음. 불일치하면 harness가 자동으로 medium-reasoning planner로 제어권을 넘겨버림.

번역.

처음 LLM 썼을 때 추론 기능을 몰라서 한 달 넘게 그냥 썼음. 내내 '이 새끼는 왜 이렇게 멍청하지?'라고 생각했는데, 알고 보니 내가 문제였던 거임.

맞음! 프롬프트가 기대하는 응답과 완전히 일치할 때는 추론을 꺼버림. 보통 10초 걸릴 응답이 1초 만에 나옴.

언제나 그렇듯 결과를 직접 측정해봐야지, 무작위 포럼 댓글을 객관적인 사실로 받아들이지는 마셈.