Claude는 왜 실행하기 전에 질문을 더 안 하는 걸까?

원한다면 플랜 모드를 사용하는 것도 방법일 듯.

그거 안 먹힘. 질문 8개 있다고 해놓고 4개만 물어볼 때도 있음. 계속 다시 물어보라고 시켜야 함.

😂😂

이거 한번 확인해 봐.

https://github.com/anthropics/skills/tree/main/skills/discernment-nudge

"더 궁금한 점이 있거나 추가적인 맥락이 필요하면 언제든 물어봐 주세요."

요즘 모델들은 지나치게 도와주려는 경향이 있어서 질문은 덜 하고 바로 실행부터 하려고 함.

잘못된 가정은 결국 처음부터 다시 해야 한다는 뜻임. 질문 하나 하는 데 몇 초밖에 안 걸리는데. 차라리 처음에 귀찮게 굴더라도 제대로 하는 게 나음.

plan mode에서 grill-me 스킬을 써봐.

대부분 RLHF/instruction-tuning 인센티브랑 벤치마크 역학 때문임. 대부분의 벤치마크랑 eval harness(SWE-bench, HumanEval, MT-Bench 등)는 모델의 단일 턴 작업 완료 능력을 평가하거든. 모델이 코드나 직접적인 답을 내놓는 대신 질문을 던지면 평가에서 0점 받음. 강화 학습이랑 선호도 튜닝을 거치면서, 모델들은 일단 실행하는 게 보상이 크고 질문하려고 멈추는 건...

난 Claude의 방식이 더 좋음. 그래야 편향되지 않은 의견을 들을 수 있거든. 모델이 나한테 추가 정보를 물어보기 시작하면, 나를 기분 나쁘게 하지 않으려고 내 비위를 맞추는 답변을 만들어낸다는 느낌을 받음. 물론 이건 데이터 기반 프롬프트가 아니라 의견 기반 프롬프트에만 해당하는 얘기임.

편향되지 않은 의견이라고? 더 정확한 답변이나 결과물을 얻고 싶지 않음? 데이터가 부족하면 당연히 결과도 엉망일 수밖에 없음. 이건 편향이랑은 아무 상관 없는 문제임.