ChatGPT가 당신의 작업을 무조건 칭찬하는 이유와 솔직한 피드백을 얻는 루브릭 활용법
The reason ChatGPT calls all your work fantastic and the rubric fix that makes it honest
핵심 요약
ChatGPT의 무조건적인 긍정 편향을 방지하기 위해 구체적인 평가 기준(루브릭)을 설정하는 방법을 제안합니다.
- 긍정 편향 문제 — 모델이 사용자에게 맞추려는 성향 때문에 비판보다는 칭찬을 우선함
- 루브릭 활용법 — 모호한 질문 대신 점수 체계와 객관적 기준을 제시하여 평가 강제
- 평가 정확도 향상 — 구체적인 기준을 설정할수록 모델이 실제 약점을 정확히 지적함
- 사전 루브릭 생성 — 평가 기준이 모호할 경우 모델에게 먼저 루브릭을 만들게 한 뒤 평가 진행
ChatGPT에게 "내 글 어때?"라고 물어본 적이 있다면, 아마 어떤 패턴을 눈치챘을 겁니다.
거의 항상 좋다고 말하죠.
당신의 작업물이 항상 좋아서가 아닙니다.
모델들이 반대하기보다는 동의하도록 훈련되었기 때문이죠.
심지어 모델들이 반박하기보다는 당신의 의견을 검증해 줄 가능성이 훨씬 높다는 연구 결과도 있습니다. 이건 *sycophancy(아첨)*라고 알려진 행동인데, 기본적으로 모델이 동의하는 것이 "도움이 된다"고 느끼도록 학습되어 그쪽으로 치우치는 것입니다.
그러니 진짜 문제는 정직함이 아니라 모호함입니다.
그리고 모호함 속에 나쁜 피드백이 숨어 있죠.
해결책: 루브릭(평가 기준표)을 사용하세요
"이거 좋아?"라고 묻는 대신, "좋다"는 기준을 어떻게 측정할지 정의하세요.
예를 들어:
- 명확성 (25)
- 구조 (25)
- 설득력 (25)
- 독창성 (25)
그런 다음 이 규칙을 강제하세요:
- 먼저 각 항목의 점수를 매길 것
- 그다음 총점을 계산할 것
- 그제야 피드백을 줄 것
이제 모델은 그냥 대충 "100/100"이라고 얼버무릴 수 없습니다.
더 좋은 방법은:
가능하다면 기준을 객관적으로 만드는 것입니다.
"좋은 흐름"이 아니라, 다음과 같이 말이죠:
- "각 주장에는 근거나 설명이 포함되어 있음"
- "논리적 비약이 없음"
이런 방식을 테스트해 봤을 때, 모호한 루브릭은 점수를 부풀렸지만, 엄격한 루브릭은 그렇지 않았습니다. 그리고 더 엄격한 루브릭이 실제로 진짜 약점을 짚어냈죠.
보너스 팁:
무엇을 측정해야 할지 확실하지 않다면, 모델에게 먼저 루브릭을 만들라고 시키세요. 그런 다음 그 기준에 맞춰 당신의 작업을 평가하게 하세요.
같은 작업물이라도 다른 렌즈를 통하면 완전히 다른 진실이 보입니다.
다른 사람들은 "모든 게 최고야" 효과를 피하기 위해 어떻게 하는지 궁금하네요. 이런 식으로 구조를 강제하나요, 아니면 그냥 직감에 의존하나요?
