추출 단계를 Claude에서 다른 모델로 옮겼습니다

라우팅을 변경하기 전에 실패한 입력값들을 좀 더 기록해 두는 게 좋을 것 같아요. 나중에 그 실패들이 대부분 특정 문서 유형이나 형식에서 발생한다는 걸 알게 되면, 모든 실패를 미리 예측하려고 애쓰는 것보다 훨씬 쉬운 문제가 될 겁니다.

라우팅을 건드리기 전에 실패 사례를 더 모아야 할 것 같아요. 지금은 패턴이 보이는 것 같긴 한데, 이게 진짜 패턴인지 아니면 그냥 눈에 띄는 실패 사례들일 뿐인지 잘 모르겠거든요.

정확해요. 우리도 결국 그렇게 됐거든요. 대응할 만한 확실한 패턴 몇 개를 찾았고, 모델 변경이 일상화되면서 그 규칙들을 Ramp Router로 옮겼어요(이상한 엣지 케이스들은 여전히 그냥 폴백으로 처리되죠).

저는 AI가 일반 코드를 작성하게 해서 실제 워크플로우가 AI에 전혀 의존하지 않도록 만들고 있어요.

추출 작업에서는 '먼저 시도하고 실패하면 에스컬레이션'하는 게 기본값으로 적절해요. 검증은 비용이 싸고 실패는 명확하니까요. 사전 라우팅은 재시도 비용이 절약되는 비용보다 클 때만 유리한데, 여기선 거의 그렇지 않거든요. 저라면 대부분의 입력에 대해 저렴한 모델을 시도하되, 이미 언급하신 긴 문서나 형식이 엉망인 경우만 제외하고 바로 Claude로 보내겠어요.