그래, 미래에 무슨 일이 일어날지 누가 알겠어. 세상이 너무 빨리 변하니까. 1년 전 AI 수준이랑 비교만 해봐도... 적어도 AI가 왜 그렇게 잘 작동하는지 인간이 이해하고 해석하는 데 가치가 있다고 봐. 지금은 여전히 데이터, 목표, 지표 같은 걸 설정하고 '최대한 높은 점수를 받는 알고리즘을 짜라'고 시키는 인간의 역할이 필요하지만, 조만간 바뀔 것 같아. AI가 스스로 문제 정의를 하고 어떤 데이터를 생성하는 게 좋을지 제안하는 등 꽤 자신감 있게 나올 것 같거든. 뭐, 그건 5.5 버전 이후의 이야기일 수도 있겠지만. 흥미로운 시대가 오고 있어!
그리고 맞아, Opus가 잘할 때도 있지만 아직 완벽하진 않아. 난 보통 코드 한 줄 한 줄 읽지 않고도 믿고 맡기는 편이지만(테스트나 시각화 같은 품질 관리는 확인하고 싶지만), 알고리즘 작성을 맹목적으로 믿는 단계는 아니야. Opus 5.5조차 결과를 너무 과대해석하는 걸 몇 번 봤거든. 훈련 데이터에만 적용되는 속성을 마치 영원한 진리인 것처럼 떠들면서 전체 파이프라인을 다 뜯어고치려 하더라고.
그럴 때 지적하면 AI답게 바로 "당신 말이 맞아요"라며 물러서지만, (내 설정에서는) 진짜로 AI가 맞을 때 내가 반박하면 꽤 잘 버티기도 해. Opus가 말하는 모든 걸 Opus끼리 서로 공격하게 해서 검증하게 만들면 어떨까? :P 요즘은 편향을 줄여보려고 장단점 리스트를 자주 요구하는데, 이게 진짜 효과가 있는지는 잘 모르겠어. 어쩌면 적대적 모델이 편향 방지에 더 강할지도.
수정: 내가 어떻게 프롬프트를 짜서 AI가 내 생각을 뛰어넘게 만드는지 좀 더 설명해볼게. 너도 시도해볼 만한 게 있을지도 몰라. 기본적으로는 탐색적인 토이 모델로 시작해. 데이터에 신호가 있는지 확인하는 개념 증명(PoC)이 주 목적이지. 그다음엔 품질 관리를 엄청 꼼꼼하게 해. 가능한 모든 각도에서 데이터를 보고, 내가 제안도 하고 Opus한테 다른 방법도 생각해보라고 해. 모델이 어디서 틀리는지에 집중하는 거지. 인간에겐 그래프를, AI에겐 숫자를 보여주는 게 정보를 파악하기 제일 좋아. 코드 대부분이 이런 품질 관리와 시각화 작업이야. 그러면서 모델을 개선하고 재평가하는 거지. 요즘은 코드를 빨리 생성할 수 있으니까 뭐든 시도해보는 게 싸게 먹혀. 머신러닝을 쓸 기회가 있으면 Claude한테 모델 10개를 설치하고 돌려서 각각 정밀도/재현율 그래프를 뽑으라고 시키는 식이지. 다른 시도해볼 만한 모델이 있냐고 물어보면 "이건 이런 접근을 다루지만, 이 패키지에는 다른 방식으로 구현된 알고리즘이 있어서 차이가 있을 수 있어요"라고 답해주거든. 그럼 "좋아, 둘 다 돌려보자" 해서 11개 모델을 쉽게 돌리는 거야. 이런 분석을 빠르게 할 수 있으니 모든 각도를 탐색할 수 있지. 그러다 수렴하기 시작하고 더 이상 아이디어가 안 떠오르면, Claude한테 더 할 수 있는 게 뭐냐고 물어봐. 다른 사람들은 비슷한 문제를 어떻게 해결하는지(장단점), 우리 솔루션의 문제는 뭔지, 어떻게 고칠지, 양쪽의 장점을 다 취하려면 어떻게 할지, 이 데이터로 더 할 수 있는 게 뭔지 다 물어봐. 엉뚱한 거라도 좋으니 브레인스토밍해보라고 하지. 그러고 나서 내가 아이디어를 좀 검토하고 필요하면 방향을 수정해. 어차피 금방 결과가 나오니까 헛다리 짚어도 시간 낭비가 적어서, 웬만하면 AI가 제안하는 건 다 해보게 해. 가끔 1% 정도의 개선이 나오는데, 그게 쌓이면 크거든.
결국 긴밀한 협업과 티키타카가 핵심인데, 요즘은 내 제안보다 Claude의 제안이 개선을 주도하는 경우가 더 많아.
