단일 모델 하드코딩이 더 이상 통하지 않음
Hardcoding one model not working for us anymore
핵심 요약
제품 규모가 커지면서 단일 모델 고정 방식의 한계에 부딪힌 개발자가 모델 라우팅 및 워크플로우 관리 방안을 고민하고 있습니다.
- 모델 라우팅 — 특정 작업에 최적화된 모델을 선택하는 유연한 구조 필요
- 워크플로우 관리 — 모델 변경에 대응 가능한 모델 독립적 설계의 중요성
- 의사결정 기록 — 모델 선택 이유와 히스토리를 문서화하여 유지보수성 확보
- 비용 및 성능 최적화 — 작업 성격에 따라 모델을 분리하여 효율성 개선
제품에 AI를 처음 도입했을 때는 모든 요청을 같은 모델로 보냈기 때문에 단순했고 아무도 의문을 제기하지 않았음. 몇 달이 지난 지금, 제품의 각기 다른 부분에 서로 다른 모델을 사용하는 것이 더 합리적인 경우를 발견하기 시작함.
어떤 모델은 긴 문서에 더 효과적이고, 어떤 모델은 단순 작업에 더 빠른 응답을 주며, 또 다른 모델은 백그라운드 작업 시 비용이 눈에 띄게 저렴함(문제는 모든 것이 단 하나의 모델만 사용할 것이라는 가정하에 구축되었다는 점임).
한동안은 잘 작동했지만, 이제는 모든 것이 똑같이 작동할 것이라고 가정하는 대신 모델별 동작을 고려해야 하기 때문에 모든 변경 사항이 예전보다 조금 더 복잡해짐.

