AI 에이전트를 만들 때 어떤 LLM을 사용할지 어떻게 결정하시나요?

모델은 에이전트에 맞춰 테스트하고 선택해야 합니다. 하지만 그뿐만이 아니라, 모델에 따라 하네스(프롬프트, 도구 등)도 변경해야 할 수 있어요.

시스템이 어떻게 작동해야 하는지에 대한 좋은 사양을 갖추고 있고, 다양한 모델을 비교하기 위해(고객에게 제공하려는 다양한 기능을 위해) 평가 세트를 돌려 모델이 어떻게 행동하는지 확인합니다. 하지만 이건 모델에 대한 초기 인상일 뿐입니다. 특정 모델에서 잘 작동하는 프롬프트 하나가 다른 모델로 바꿨을 때도 잘 작동할 거라고 기대할 수는 없죠.

예를 들어, Opus 5.5는 프롬프트에 너무 자세한 설명이나 예시가 필요 없는 프롬프트에서 더 잘 작동할 수 있지만, 성능이 낮은 모델은 같은 프롬프트에서 최적 이하의 결과를 낼 수 있고 프롬프트를 더 자세하게 만들고 예시를 더 많이 주면 훨씬 더 잘 작동할 수 있습니다.

결론적으로 전체 과정은 프롬프트에 대해 평가를 돌리고, 고객에게 제공하려는 워크플로우에 맞춰 모델에 최적화된 하네스를 만드는 것입니다.

작업에 따라 다르죠. 더 싼 모델로도 충분히 할 수 있는데 비싼 모델에 돈을 쓸 이유는 없으니까요.

저는 작업부터 시작해서 비용을 봅니다. 에이전트가 보게 될 실제 입력값 20~30개를 적어보고, 몇 가지 까다로운 엣지 케이스를 포함해서 3~4개의 후보 모델에 같은 프롬프트와 도구로 돌려봅니다. 답변이 얼마나 그럴듯한지가 아니라, 각 모델이 작업을 정확하게 완료했는지를 점수 매깁니다. 보통 이걸로 후보군 절반은 금방 탈락하죠.

그 후에는 주로 단계별 비용과 지연 시간을 봅니다. 많은 에이전트가 결국 두 가지 모델을 쓰게 됩니다. 라우팅, 추출, 간단한 도구 호출용으로 싸고 빠른 모델 하나, 그리고 계획이나 실수가 치명적인 단계에서만 쓸 강력한 모델 하나죠. 여기서는 벤치마크 점수보다 도구 호출 신뢰도가 더 중요합니다. 10단계 실행 과정에서 5% 확률로 잘못된 도구를 선택하거나 나쁜 인자를 보내는 모델은 금방 무너지거든요. 그 테스트 세트는 잘 보관해두세요. 새 모델이 나올 때마다 다시 돌려봐야 하니까요.

창의적인 글쓰기 에이전트의 경우, qwen-max가 더 낮은 비용으로도 Claude나 Gemini보다 서사적 어조와 일관성을 훨씬 더 잘 다룬다는 걸 알게 됐습니다. 프롬프트 없이도 긴 스레드 내내 캐릭터의 목소리를 기억하더군요.

작업 유형이 가장 큰 요인이라는 걸 알게 됐습니다. 예를 들어, 계획 에이전트는 탄탄한 추론이 필요하지만, 챗봇은 어조만 일관되게 유지하면 된다면 더 저렴한 모델로도 충분하죠.

저는 코딩 에이전트를 매주 정해진 구독 할당량 안에서 매일 돌리기 때문에, 역할과 할당량 소진 속도에 맞춰 모델을 선택합니다. 메인 계획 루프에는 가장 강력한 모델을 유지하고, 보조 에이전트에는 더 저렴한 모델을 쓰며, 보조 에이전트가 처음 실패했을 때만 상위 모델로 교체합니다. 위험한 변경 사항의 경우, 다른 벤더의 모델이 코드를 검토하게 합니다. 다른 맹점을 잡아낼 수도 있으니까요.

대부분의 사람들과는 반대로 합니다. 가장 강력한 모델로 먼저 구축해서, 실패가 발생하면 그게 모델 문제가 아니라 프롬프트나 도구 문제라는 걸 확실히 하죠. 그러고 나서 더 저렴한 모델로 교체해가며, 저장된 테스트 실행이 실패하기 시작하는 첫 번째 지점에서 멈춥니다.

고객 대면용이라면 지연 시간과 반복 가능성을 꽤 엄격하게 따질 것 같네요.

저는 보통 인기도에 따라 모델을 선택하기보다 작업에 대해 먼저 생각합니다. 단순 분류, 추출, 라우팅에는 작고 빠른 모델로도 충분한 경우가 많습니다. 복잡한 추론, 다단계 결정, 도구 사용이 많은 에이전트라면 더 뛰어난 모델을 고려하겠죠.

비용과 지연 시간도 중요합니다. 특히 에이전트가 많은 양의 요청을 처리할 때는요. 또한 실제 입력값으로 모델을 테스트하고 출력의 정확도, 일관성, 엣지 케이스 처리 능력을 비교합니다.

가장 좋은 방법은 모든 것에 가장 강력한 모델을 쓰는 것보다, 작업의 신뢰성 요구 사항을 충족하는 가장 저렴한 모델을 사용하는 것이라고 생각합니다.