프롬프트 점수 측정 도구를 만들었는데, 제 프롬프트 말고 실제 프롬프트로 테스트해보고 싶습니다.

대체 뭘 평가한다는 건가요? 프롬프트가 잘 작동하는지 여부는 '컨텍스트 윈도우 사용량'이나 '정보 배치'와는 거의 상관이 없거든요. 진짜 중요한 건 모델이 사용자의 의도를 제대로 파악하는지, 결과물의 형태가 요구사항에 맞는지, 그리고 대화가 이어질 때 특정 수준의 구체성과 어조를 유지하는지입니다. 프롬프트 텍스트만 봐서는 이런 것들을 점수화할 수 없...

맞는 말임. 텍스트만으로는 의도나 문맥 파악이 안 된다는 건 인정. 근데 '정보 위치는 상관없다'는 건 Liu et al. (2023) 논문이랑 배치됨. 긴 문맥에서 중간에 정보가 있으면 모델 성능이 떨어진다는 게 증명됐거든.

무슨 말인지 알겠음. U자형 패턴으로 문맥이 처리된다는 거 나도 테스트하면서 느낌. 혹시 '명확성', '구체성', '강건성', '구조' 같은 요소들을 설명할 수 있는 짧은 예시 좀 보여줄 수 있음? 각각 정의도 좀 해주고.

동의함. 페르소나를 첫 번째에 두는 거 맞음. U자형 어텐션 때문에 처음이랑 마지막 내용이 제일 잘 처리되거든. 규칙 전에 정체성을 먼저 박아야 모델이 의도를 제대로 파악함. 마지막에 핵심 규칙 넣는 것도 같은 원리고. 출력 형태 지정하는 것도 토큰 하나하나 제어하는 게 아니라 전체 분포를 제한하는 거라 효과적임.

동의함! 피드백 진짜 고맙다. 덕분에 예시가 훨씬 좋아졌음. 이런 피드백 계속 받아서 루브릭 다듬어볼게. 고마워!