v0를 효과적인 코딩 에이전트로 만들기까지

지난해 저희는 v0 Composite Model Family를 소개하면서, v0 모델이 다단계 에이전트 파이프라인 내부에서 어떻게 작동하는지 설명했습니다. 이 파이프라인에서 안정성에 가장 큰 영향을 미친 요소는 세 가지입니다. 바로 동적 시스템 프롬프트, "LLM Suspense"라 부르는 스트리밍 조작 레이어, 그리고 모델이 응답 스트리밍을 마친 후(혹은 스트리밍 도중에!) 실행되는 결정적(deterministic) 및 모델 기반 자동 수정기(autofixer)입니다.

우리가 최적화하는 지표

저희가 가장 중요하게 최적화하는 지표는 생성 성공률, 즉 전체 생성 중 성공적으로 완료된 비율입니다. 여기서 '성공적인 생성'이란 v0 프리뷰에서 오류나 빈 화면 없이 정상적으로 작동하는 웹사이트가 만들어지는 것을 의미합니다. 문제는 LLM이 단독으로 대규모 코드를 생성할 때 다양한 오류가 발생한다는 점입니다.

저희 경험상, LLM이 생성한 코드는 최대 10%까지 오류를 포함할 수 있습니다. v0의 복합 파이프라인은 LLM이 출력을 스트리밍하는 도중에 이러한 오류를 실시간으로 감지하고 수정합니다. 이를 통해 성공률을 두 자릿수 이상 끌어올릴 수 있습니다.