r/promptengineering•5개월 전•13•13
temperature 0은 사기다, 이제 더는 못 참겠다
temperature 0 is a scam and im tired of pretending it isnt
핵심 요약
LLM의 결정론적 출력에 대한 환멸과 프롬프트 엔지니어링의 한계에 대한 토로.
- 프롬프트 엔지니어링의 한계 — 프롬프트로 모델의 출력을 완벽히 제어하려는 시도가 미신적인 의식처럼 느껴짐.
- 결정론적 AI에 대한 갈망 — 토큰 예측 기반의 확률적 모델 대신 수학적 제약을 준수하는 아키텍처를 원함.
- JSON 출력의 불안정성 — 프롬프트에 엄격한 제약을 걸어도 모델이 불필요한 문구를 삽입하거나 형식이 무너짐.
솔직히 그냥 하소연 좀 하려고. 모델을 어린애 다루듯 하는 거 이제 진짜 지긋지긋해. 어제 하루 절반을 쏟아서 거대한 시스템 프롬프트를 다시 썼는데, 모델이 시작 부분에 "Certainly! Here is the data:" 같은 말을 끼워 넣지 않고 엄격한 JSON 출력만 내뱉게 하려고 진짜 고생했어.
"DO NOT OUTPUT ANYTHING ELSE"라고 대문자로 몇 번을 적든 상관없어. 결국 그냥 토큰을 예측하는 것뿐이니까. 사용자 쿼리에서 관련 없는 단어 하나만 바꿔도 형식 제약이 완전히 무너져 버려.
프롬프트 엔지니어링이 실제 공학이라기보다는 미신적인 의식처럼 느껴지는 지점까지 왔어. 최근에 엔터프라이즈 분야에서 결정론적 AI로 전환되는 흐름에 대해 읽었는데, 단순히 다음 단어를 추측하는 게 아니라 수학적 제약을 실제로 준수하는 아키텍처라는 개념이 정말 꿈만 같더라.
물론 생성형 모델이 할 수 있는 창의적인 작업들을 사랑하지만, 생성형 바이브 위에 안정적인 백엔드 파이프라인을 구축하려고 애쓰는 건 정말 진 빠지는 일이야. 프롬프트가 실제로 제어할 수 있는 한계점에 도달했다고 느끼는 사람 또 있어?
