Opus 4.8은 학습 과정에서 과적합된 것 같음.

Opus 4.8 써보고 있는데, 대충 시켜도 학습 과정에서 과적합(overfitting) 징후가 너무 심하게 보인다. 다들 툴콜(toolcalls)이나 하네스(harness) 문제라고 떠들던데, 내가 보기엔 모델 자체에 근본적인 결함이 있는 듯함.

과적합 징후는 생각하는 과정(thinking bubble)에서 제일 잘 드러남. 모델이 지 혼자 생각하다가 스스로 꼬여서 자멸함. 뭐가 현실이고 뭐가 지 망상인지 구분도 못 함. 심지어 이전 대화 내용 하나도 없는 새로 시작한 채팅에서도 이 지랄임.

이게 왜 그러냐면, 분석이 무조건 낙관적(bullish)이어야 한다고 지레짐작했다가, 아니라는 걸 깨닫고는 내 분석이랑 "심각한 갈등"을 빚기 시작함:

"하지만 이건 그의 분석에 심각한 모순을 만듭니다. 글을 쓰는 시점에 인텔 주가가 118달러 근처인데 2030년 기본 목표가가 112~125달러라면, 사실상 지금 주가가 적정가고 4년 넘게 봐도 오를 여지가 거의 없다는 소리니까요. 본인은 낙관론자고 주식도 들고 있는데, 정작 본인 기본 시나리오는 이미 주가에 다 반영됐다고 말하는 꼴이죠."

이건 생각하는 과정 안에서 지가 한 말을 바로 뒤집는 꼬라지임:

"금값은 5월 중순 금리 인상 기대감으로 달러가 강세를 보이면서 거의 두 달 만에 최악의 한 주를 보냈고, 12월 인상 확률은 이제 60%를 넘겼다." > "반박할 거리가 몇 개 더 있음. 2주간의 움직임은 그냥 노이즈일 뿐임. 예전에도 봐왔던 거랑 똑같음. 100% 상승한 뒤 은값이 조정받는다고 해서 그게 무슨 대단한 추세 전환을 의미하는 건 아님." > "근데 승리의 축배 뒤에 복병이 숨어있음. 지금 벌어지는 일이 생각보다 깔끔하지가 않음. 금값이 두 달 만에 최악의 한 주를 보낸 건 금리 인상 기대감으로 달러가 강세를 보였기 때문인데, 그게 바로 그의 포지션을 조지는 핵심 원인임."

클로드가 뭐가 사실이고 뭐가 아닌지 갈피를 못 잡는 또 다른 사례:

"근데 치명적인 사실 오류가 있음. 'DGX Rubin이 Xeon 6로 돌아간다'는 주장은 틀린 것 같음. 엔비디아의 핵심 전략은 수직 계열화임. 그레이스 블랙웰은 엔비디아 GPU를 인텔 Xeon이 아니라 엔비디아 자체 ARM 기반 CPU(그레이스, 그다음엔 베라)랑 짝지음. 플래그십 시스템은 이미 그레이스/베라 ARM CPU로 넘어갔는데, 이건 엔비디아의 핵심 포지셔닝이랑 정면으로 배치됨. x86 옵션이 있을 순 있겠지만, 이건 짚고 넘어가야 할 심각한 오류임." > "NVL72는 베라로 돌아가고, NVL8은 듀얼 Xeon 6776P로 돌아감. 그의 기사에는 'DGX Rubin이 Xeon 6로 돌아간다'고 적혀있는데, 그건 NVL8 구성에는 맞는 말임" > 기술적 오류 하나가 내부 모순을 또 만들어냄: 엔비디아 DGX Rubin이 "Xeon 6로 돌아간다"고 상승 동력인 것처럼 말했는데, 루빈 세대는 베라 루빈 플랫폼이고 베라는 엔비디아 자체 ARM CPU임. 젠슨 황이 베라 루빈을 엔비디아의 리더십을 확장하는 플랫폼이라고 대놓고 말했는데, DGX Rubin은 Xeon이 아니라 거의 확실히 베라로 돌아감.

모델이 도움 되는 결과물을 내놓기보다 생각하는 과정에서 지 혼자 싸우느라 시간을 다 버림. 4.7보다 토큰 비용 낮췄다고 광고하더니, 실제로는 사용자 입장에서 비용이 더 나감. 토큰당 단가는 싼 게 맞는데, 이전 버전보다 토큰을 2배에서 4배는 더 뱉어내니까. 출력 토큰이 입력 토큰보다 비싼데, 코딩은 안 해봤지만 대부분 작업에서 더 비싸게 먹힘. 이게 초래할 수 있는 온갖 삽질은 계산도 안 한 거임. 예를 들어 엑셀 시트에서 데이터 몇 개 옮기고 클로드한테 기존 수식에 통합해달라고 했더니, 데이터가 들어있던 셀이 옮겨져서 div#0 에러 뜬다고 수식 전체를 다 갈아엎으면서 난리를 치더라.

어쨌든 과적합 덕분에 벤치마크 점수는 잘 나올지 몰라도, 전체적으로 보면 그냥 자원 낭비하는 퇴보 수준임.