프롬프트 수정 한 번으로 비용이 거의 두 배가 됨

프롬프트 품질에 왜 그렇게 집착하는지 모르겠음. 만약 프롬프트가 더 나은 결과를 내더라도 토큰과 도구 호출을 너무 많이 써서 마진을 박살 낸다면, 그건 좋은 프롬프트가 아니라 그냥 더 예쁜 데모일 뿐임.

동의함. 경험상 우리도 평가 점수만 보고 비용은 제대로 안 챙겼었음. 올해 들어서야 Ramp를 통해 Anthropic이랑 OpenAI 토큰 사용량을 통합해서 보기 시작했고, 그제야 우리가 어디에 돈을 쓰고 있는지 확실히 알게 됨.

프롬프트 변경을 코드 변경처럼 취급해서 토큰 사용량, 출력 길이, 작업당 성공 비용을 추적하셈. 안 그러면 청구서 받고 나서야 추측만 하게 됨.

프롬프트 수정할 때마다 비용 확인하는 게 최고의 습관임. 같은 작업 조합으로 수정 전후를 비교하고, 확실한 성능 향상 없이 비용만 늘리는 건 다 잘라내야 함. 간단함 :)

가능하다면 추론 샘플의 추론 블록을 관찰하는 게 도움이 될 수 있음. 가끔 계획 단계에서 재시도하거나, 스스로 반복해서 수정하거나, 아니면 가이드라인을 충족하지 못한다는 걸 나중에 깨닫고 헛짓거리를 하는 걸 발견할 수 있음. 이건 시스템 프롬프트에 대한 혼란 때문에 토큰을 낭비하고 있다는 신호고, 아마 매번 발생하고 있을 거임. 결과물은 더 안정적일지 몰라도...