실제 AI 시스템 구축에서 가장 쉬운 건 '프롬프트 엔지니어링'이었다

슬프지만 사실임. 도커가 어떻게 만들어졌는지에 대한 그 유명한 농담 같네. "네 컴퓨터에서 돌아가면, 그냥 네 컴퓨터를 통째로 배포해버리자."

그냥 닥치기 전까진 모르는 문제들인 듯. 이런 것들은 대부분 일단 다 만들어놓고 나서야 마주하게 되니까.

대부분의 AI 제품은 OAuth 토큰 하나만 만료돼도 바로 뻗어버리지.

맞아. 프롬프트는 눈에 보이는 부분이라 제일 먼저 욕먹지만, 내가 본 프로덕션 장애의 대부분은 경계면 문제였어. 인증 만료, 도구 출력 누락, 멱등성이 없는 작업 재시도, 혹은 스트리밍 상태와 데이터베이스 간의 동기화 오류 같은 것들. 내가 쓰기 시작한 유용한 테스트가 있는데, "도구 호출은 성공했는데 모델이 결과를 보기 전에 클라이언트 연결이 끊기면 어떻게 되지?"라는 질문이야. 이 질문에 답을 못 하겠다면, 아직 프롬프트가 가장 취약한 고리는 아니라는 거지.

나도 똑같이 느꼈음. 프롬프트 자체는 오후 한나절이면 다듬는데, 그 뒤로 3주 동안 컨텍스트 윈도우 관리, 재시도 로직, 출력 검증, 그리고 왜 개발 환경에선 잘 되는데 프로덕션에선 환각을 일으키는지 파악하는 데 시간을 다 씀. '프롬프트 엔지니어링'이라는 말은 애초에 좀 잘못된 명칭이었어. 진짜 일은 프롬프트 주변의 모든 것들이니까.