GPT는 말만 번지르르하고 결과물은 형편없음.

그래. 어째서인지 Claude의 전반적인 능력은 좋아졌는데, 내가 수개월 동안 정확히 지정해준 것들과 정반대되는 행동을 하기 시작했어.

가장 최악인 건, 평가와 심리 측정을 전문으로 하는 심리학자로서 나 자신과 동료들을 위한 평가 도구를 만들고 있었는데, 업로드하고 채점 및 관리 기능을 테스트하는 데만 한 달을 꼬박 썼거든. 그러고 나서 모든 기능이 작동하는지 테스트를 시켰더니 다 잘 된다고 하더라고. 그래서 실무자용 사용자 가이드를 만들게 했는데, 다 끝나고 보니 평가 정보가 하나도 안 들어 있는 거야. 알고 보니 우리가 한 달 동안 작업한 내용을 실제로 테스트조차 안 했던 거지.

이제는 GPT가 하는 모든 작업이나 계획을 내가 직접 검토하고(내 기술적 역량 범위 내일 때), 나머지는 Codex로 검사해. 지금까지는 Codex가 내가 미처 잡아내지 못했을 기술적 문제들을 잡아내고, Claude가 내 모르게 바꾼 것들도 찾아내 줘서 훨씬 나아졌어. 이제는 굳이 필요 없을 때도 있지만, Claude는 Codex가 모든 걸 확인하게끔 확실히 하고 있지.