Claude를 쓰면 내가 뭘 아는 것처럼 착각하기 너무 쉬운 것 같음

난 잘 모르는 분야 공부할 때 Claude를 맨날 쓰거든. 근데 진짜 말도 안 될 정도로 빨리 아무것도 모르는 상태에서 꽤 잘 아는 상태로 넘어가게 됨.

한 30분 정도, 꼬리 질문 몇 번 던지고 자료 좀 찾아보면, 방금 전까지만 해도 좆도 모르던 주제에 대해 갑자기 자신감이 뿜뿜함.

물론 좋지. 내가 Claude를 존나게 쓰는 이유기도 하고. 근데 내가 진짜로 이해한 게 맞나?
그냥 Claude가 말해준 걸 아는 거지, 그게 진짜 내 지식은 아니잖아.

문득 더닝-크루거 효과가 생각나더라. 다들 이 그래프 한 번쯤 봤을걸? 뭘 좀 배우면 자신감이 확 치솟았다가, 더 깊게 파고들수록 내가 얼마나 모르는지 깨닫게 되는 거.

근데 내가 흥미로운 건, Claude가 그 첫 번째 언덕까지 사람을 얼마나 빨리 올려놓느냐는 거야.

어떤 대화에서는 첫 답변이 존나 완벽해 보였거든. 근데 세부적인 거 하나 꼬치꼬치 캐물으니까 중요한 주의사항이 튀어나오더라고. 그거 또 파고드니까 또 다른 게 나오고. 다른 모델 돌려보거나 원문 찾아보니까 아예 근본적인 걸 놓치고 있었던 적도 있음.
그때마다 속으로 '와, 씨발 이거 안 물어봤으면 그냥 첫 답변만 믿고 넘어갔겠네' 싶더라.

이게 우리가 아직 해결 못 한 부분인 것 같음.

내가 잘 아는 분야면 어디가 틀렸는지 바로 태클을 걸 텐데, 모르는 분야면 Claude가 존나 그럴듯하게 답변을 내놔도 뭐가 빠졌는지 알 방법이 없잖아.

요즘은 좀 중요한 거 물어볼 땐 이런 식으로 질문함: "내가 지금 놓치고 있는 게 뭐야?", "전문가라면 여기서 뭘 지적할까?", "우리가 지금 어떤 전제를 깔고 있는 거지?"

근데 신기하게도 이렇게 물어보면 답변이 확 바뀌는 경우가 존나 많음.

Claude는 내가 질문할 줄 아는 것들에 대해서는 진짜 기가 막히게 대답해 줌.

너네도 이런 거 느껴본 적 있냐?