AI 에이전트를 최대한 결정론적으로 만드는 최선의 방법들
Best attempts at making an agent deterministic as possible.
핵심 요약
LLM 기반 에이전트의 비결정론적 특성을 극복하고 최대한 예측 가능한 결과를 얻기 위한 전략과 도구에 대해 논의함.
- 결정론적 스크립트 — LLM 의존도를 낮추고 로직 기반의 코드를 최대한 활용함.
- 구조화된 출력 — JSON 형식을 사용하여 모델의 출력을 고정하고 예측 가능성을 높임.
- 계획과 실행 분리 — LLM이 계획을 세우면 결정론적 코드가 검증 후 실행하도록 설계함.
- 모델 버전 고정 — 업데이트로 인한 동작 변화를 방지하기 위해 모델 버전을 고정함.
골든 셋, LLM 가드레일(신뢰성 낮음), n+ 컨센서스, 배포 전 회귀 테스트에 대해 들어봤어. LLM 대신 로직을 사용하는 코딩된 도구 활용하기, 시드, temp, top_p 같은 설정 조정하기 등등. 혹시 최대한 결정론적으로 만드는 데 성공한 다른 방법들이 있을까?

