Opus 4.8이 내 코딩 테스트를 많이 통과하지 못했어
Opus 4.8 Failed A Lot Of My Coding Tests
핵심 요약
Opus 4.8의 코딩 성능에 대한 사용자의 비판적 리뷰와 이에 대한 커뮤니티의 냉소적인 반응.
- 성능 평가 — 복잡한 빌드 작업은 개선되었으나 단순 생성 작업은 퇴보함
- 논리 오류 — 세차장 관련 논리 문제를 여전히 해결하지 못함
- 커뮤니티 회의론 — 작성자의 홍보성 게시물과 서브레딧의 여론 조작 의혹 제기
- 실무자 반응 — 엔터프라이즈급 엔지니어들의 전문적인 논의 공간 부재에 대한 피로감
Opus 4.8이 출시된 후 지난 한 시간 동안 테스트해 봤어. 솔직히 말해서 결과는 뒤섞여 있었고, 실제 결과들을 공유할 가치가 있다고 생각했지.
좋았던 점: 단일 파일 HTML macOS 클론을 만들게 시켰는데 정말 인상적이었어. 스포트라이트 검색, 제어 센터가 작동하고 독(dock) 애니메이션도 잘 되며, 실제로 몇몇 앱은 열리기까지 해. 여기저기 버그가 좀 있지만 한두 번 수정하면 해결될 수준이야.
별로였던 점: 단일 HTML 파일로 PS5 컨트롤러를 만들어달라고 했는데, 이전 모델들보다 눈에 띄게 결과물이 안 좋았어. 그리고 내가 실제로 사용하는 클라이언트 접수 양식을 4.7과 4.8에 똑같이 입력해서 비교해 봤는데... 4.7의 결과물이 더 나았어. 거의 비슷하지만 4.7이 아주 조금 더 나았지.
Opus 4.8 단일 HTML 파일 코드 테스트에서 나온 PS5 컨트롤러 결과물이야.
그리고 여전히 고전적인 논리 함정을 틀리더군: "세차를 해야 하는데 걸어갈까, 운전해서 갈까?" → 걸어가라고 답했어. (세차장에는 차를 가져가야 하잖아.) 맥스 모드에서도 실패했어.
전반적으로 대규모 에이전트/코딩 작업에서는 확실히 한 단계 발전한 느낌이지만, 일부 일회성 생성 작업에서는 옆그레이드이거나 더 못한 것 같아. 다른 사람들도 같은 패턴을 보고 있는지, 아니면 내가 몇몇 프롬프트에서 운이 없었던 건지 궁금하네.
(혹시 실제 결과물을 보고 싶은 사람이 있을까 봐 전체 실행 과정을 촬영해 뒀어. 댓글로 링크 달아줄 수 있으니 원하면 말해줘. 게시물에 스팸처럼 올리고 싶지는 않아서.)
