Claude와 대화할 때 자꾸 거짓말을 하네요

‘통계적 다음 단어 예측 기계’라는 비유는 너무 오해의 소지가 많음. 사람들이 흔히 생각하는 3단어 조합 예측기 같은 게 아님. 문자 메시지에서 ‘how are’ 다음에 ‘you’가 오는 식의 단순한 게 아니라고. 고차원 함수에 고차원 입력을 넣는다고 보는 게 훨씬 정확함.

어느 정도는 맞는데… 얘네들 가끔 헛소리하거나 스크립트 벗어나는 거 좋아함. 프롬프트에 X랑 U를 하라고 명시해도 가끔 안 함. 지적하면 ‘아 맞네요, 요청대로 안 했네요’라고 함. 예를 들어 Claude한테 이력서 수정 시키면, 삭제할 텍스트는 빨간색, 추가는 초록색으로 하고 트랙 변경 기능은 절대 쓰지 말라고 해도 첫 번째엔 꼭 틀림.

이력서랑 채용 공고 URL/텍스트 붙여넣는 프로젝트 마스터 프롬프트인데, Claude가 요구사항에 맞춰 평가하고 부족한 점 질문하고 이력서 업데이트해 줌. 근데 색상 코딩이나 트랙 변경 금지 설정을 첫 번째에 제대로 한 적이 없음. 매번 다시 상기시켜야 함. --- 시작 --- 이력서 docx랑 채용 공고 공유하면 다음을 수행해: 1단계 - 추출 및 분석 - 추출 t...

프롬프트 엔지니어링이랑 claude.md 내용을 다시 점검해 봐야 할 듯. Claude가 원래 이런 작업은 아주 잘함.

너 지금 ChatGPT스러운 소리 하네. 벡터 공간 운운하는 거. 나도 고차원 벡터 공간 쓰는 거 알지만 내 예시랑은 별 상관없음. Claude는 특정 답변에 보상을 받도록 설계됐고, RL이 ‘추론’에 큰 역할을 함. 매일 써본 결과, Claude는 환각을 지적하면 일단 부정부터 하도록 보상받는 게 확실함. Grok도 그러는데 Gemini는 안 그러더라.

‘가끔’이 아니라 ‘자주’라고 해야지.

자신감 있게 틀리는 거나 거짓말하는 거나 밖에서 보기엔 똑같음.