Opus 4.7은 4.6의 퇴보 - 실무 문서 생성 기능 고장
Opus 4.7 is a regression from 4.6 - real-world document generation broken
핵심 요약
Claude Opus 4.7 업데이트 이후 실무 문서 생성 능력이 크게 떨어져 이전 버전으로 회귀했다는 사용자 불만.
- 문서 생성 오류 — 워드 파일 형식을 제대로 인식하지 못하고 텍스트 파일로 저장하거나 비효율적인 편집 방식을 사용함.
- 성능 퇴보 논란 — 벤치마크 점수는 높지만 실제 업무 처리 능력은 이전 버전인 4.6보다 못함.
- 비효율적 작업 방식 — 문서 수정 시 불필요한 XML 셀 단위 편집으로 세션 제한을 초과하고 작업을 완료하지 못함.
- 사용자 신뢰 하락 — 실무에 의존하는 유료 구독자들에게 예고 없는 성능 저하는 심각한 업무 방해임.
Anthropic이 가장 진보된 모델이라며 Opus 4.7을 출시했음. 난 며칠 만에 4.6으로 되돌렸음.
난 Claude를 채팅이나 요약용이 아니라 실무용으로 사용함. 실제 마감 기한이 있는 실제 결과물들을 다룸. 무슨 일이 있었는지 말해주겠음.
4.7에게 Word 문서를 업데이트해달라고 요청했음. 이전 모델이 일상적으로 처리하던 작업임. 그런데 새 모델은 .docx 확장자를 가진 일반 텍스트 마크다운 파일을 만들어냈음. 형식이 깨진 문서도, 부분적으로 서식이 적용된 문서도 아님. 말 그대로 Word 문서가 전혀 아닌 파일을 만들어낸 거임. 아무런 경고도 없이, 아주 자신만만하게 결과물을 내놓았음.
내가 이걸 발견하고 제대로 서식을 지정해달라고 요청했을 때(모델이 접근할 수 있었던 원본 Word 문서를 템플릿으로 사용하라고 했음), 상상할 수 있는 가장 노동 집약적인 방식을 선택했음. 한 번에 문서를 재구성하는 대신, Word 파일 내부 구조의 개별 XML 표 셀을 하나씩 수술하듯 편집하기로 결정한 거임. 하나씩. 셀 단위로.
결국 세션의 전체 도구 사용 예산을 다 써버리고도 절반밖에 끝내지 못했음. 그러고는 자기가 무엇을 끝냈고 무엇을 끝내지 못했는지 설명하는 결과물을 내놓더니, 작업을 계속하려면 새 세션을 열라고 요청했음. 새 세션이라니. Word 문서 하나 만드는 걸 끝내려고 말임.
Opus 4.6으로 되돌렸음. 같은 작업. 같은 입력값. 한 번에 완료. 완벽한 문서. 올바른 서식. 끝.
이게 벤치마크 군비 경쟁이 낳은 결과물임. 학술적 평가에서는 더 높은 점수를 받지만, 이전 모델이 식은 죽 먹기처럼 해내던 기본적인 문서 생성 작업조차 제대로 완수하지 못함. 새 모델이 실패한 건 작업이 어려워서가 아님. 작업 접근 방식에 대해 잘못된 결정을 내렸고, 자신의 전략이 비효율적이라는 걸 인지하지 못했으며, 사용 가능한 결과물을 내놓기도 전에 한계치에 도달했기 때문임.
난 유료 Pro 구독자임. 벤치마크 점수 따위는 관심 없음. 지난주에 작동하던 도구가 이번 주에도 작동하는지가 중요함. 그런데 작동하지 않았음. 게다가 실패 방식도 우아하지 않았음. 망가진 파일을 자신 있게 전달하고는, 자신의 실수를 복구하려다 세션 전체를 낭비하게 만들었음.
퇴보를 업그레이드라고 포장해서 출시하는 짓 좀 그만두길 바람. 보도자료를 내기 위해 설계된 큐레이팅된 벤치마크가 아니라, 누군가가 실제로 결과물에 의존하는 실제 워크플로우를 기준으로 모델을 테스트하셈. 그리고 새 모델이 이전 모델이 할 수 있던 것보다 못하다면, 그건 업그레이드가 아님. 그건 고장 난 릴리즈임.
난 되돌렸음. 다시 잘 작동함. 그쪽 사람들은 좀 부끄러워해야 함.
