Claude가 물리학자의 1년 치 박사 과정 수학을 10시간 만에 검토하고 부호 오류를 찾아냄

흥미롭네. 우리가 AI의 실패 사례만 듣는다는 거 알지? 성공 사례는 다들 안 듣고 있잖아?

장담하는데, 이 정도면 실패보다 성공이 훨씬 훨씬 많음.

두 번째 포인트, AI가 사람의 10시간짜리 업무를 15분 만에 끝내고 실수를 3개 한다고 치자. 사람이 똑같은 실수를 하면서 10시간 걸리는 거랑 비교하면, 재정적으로 뭐가 더 나을까?

이제 다 묶어서 내 핵심을 말해볼게. 사람도 실수함. 봇보다 더 많이. 오타, 논리 오류. 현실적으로 생각해보자고, 사람이라면 누구나 각자 다른 방식으로 실수한다는 거 알잖아. 봇은 10배 더 많은 일을 하고 실수를 하긴 하지만, 그래도 사람보다는 적음.

다들 AI의 실패만 지적하면서 엄청난 성과는 눈감고 무시하고 있음. "세상에, 코드 100만 줄 짰는데 함수 하나 말아먹었네!" "어떡해, 코드 100만 줄 짰는데 너무 장황하고 주석도 엉망이네!" "어떡해, 3년 동안 안 날리던 프로덕션 서버를 날려버렸네!" (2023년 이전 프로덕션 삭제 사례들 찾아봐. 다들 주니어들이 맨날 사고 안 친 척들 하더라).

모든 논쟁 중에서 "AI는 실수를 한다"는 게 제일 약한 논리라고 봄. 이 논리로 할 수 있는 최선은 "실수를 잡아내기 어렵다"는 건데, 그건 리뷰어가 사람일 때나 맞는 말임.

내 관심사는 코드를 사람이 이해할 수 있게 만드는 거랑, 비 LLM 방식으로 자율적으로 추적하는 거임.