Opus 5.5 지난주와 비교

모든 Claude 모델에서 이런 일이 반복되니 사람들이 언제 또 이런 일이 벌어질지 진심으로 걱정하는 게 참 씁쓸하네. 어제 있었던 서버 장애 때 아마 모델이 망가진 것 같아. 일주일 넘게 아무 문제 없다가 갑자기 짧고 통제된 듯한 장애가 발생했고 금방 복구됐거든. DevDay가 기대만큼 대단하지 않으니까 아마 모델을 갈아엎은 게 아닐까 싶어... Claude가 더 낫다고 해도 왜 항상 출시 직후에 너프를 먹이는지 도무지 이해가 안 가. 그리고 다들 동시에 불평하지 못하게 무작위로 타겟팅해서 너프를 적용하는 느낌이야. 몇 주에 걸쳐서 서서히 바뀌니까. 다 컴퓨팅 자원 아끼려고 그러는 거겠지.

처음엔 음모론이라고 생각했는데, 갈수록 나도 똑같은 경험을 하고 있어. 새 모델이 나오면 벤치마크랑 홍보 효과가 끝날 때까지 72시간 동안은 엄청나게 좋은데, 그 이후엔 품질이 급락해.

Opus 5.5도 미니 페이블(Fable) 수준에서 Opus 5 v2 수준으로 떨어졌어. 똑같은 텍스트 검토 작업에 쓰는데, 훌륭했던 언어 능력이 다시 '클로드스러운' 수준으로 돌아갔거든.

음모론이 아니라고 가정하면 설명은 두 가지뿐이야. 1) 수요가 늘어나면 컴퓨팅 자원 관리를 위해 동적으로 양자화를 하거나, 2) 모델이 사용자 데이터를 기반으로 스스로 학습하는데, 일반 대중이 워낙 멍청해서 모델까지 멍청해지는 거지.

만약 이게 실제로 일어나는 일이라면, OpenAI처럼 '주스(juice)' 메커니즘을 사용하는 것일 가능성이 커. 기본적으로 노력 수준이 품질을 결정하는 '주스'라는 수치로 변환되는 거지. 예를 들어 초기에는 높은 노력을 주스=100으로 매핑했다가 나중에 주스=50으로 바꾸는 식이야. 이건 앱에만 영향을 주고 API에는 영향을 주지 않으니 감지하기가 어렵지.

아직까지 표절작이 아닌 게임을 만든 사람은 한 명도 못 봤어.

단순히 내가 표절을 싫어해서가 아니야.

이미 학습 데이터에 있는 게임(당연히 웜즈 같은 거)을 AI한테 만들라고 시키는 거랑, 처음부터 끝까지 새로 만드는 건 완전히 다른 문제거든.

표절 요소가 섞여 있으면 이 뒤에 숨겨진 실제 지능과 능력을 가늠하기가 어려워.

결국 우리가 슬롯머신을 '돌리고' 있다는 점에는 동의해. 하지만 품질에 눈에 띄는 차이가 있는 건 사실이야. 주로 쓸만한 결과물을 뽑아내기 위해 AI를 얼마나 더 손봐야 하는지에서 차이가 느껴져.