How come Opus 5 has such a low "instruction-following" score compared to the rest?
Opus 5의 낮은 지시 이행 점수에 대해 벤치마크의 신뢰성, 모델의 과도한 안전성, 학습 방향성 등을 두고 논의가 이어지고 있습니다.
차이 존나 크네
벤치마크의 신뢰성 문제와 Anthropic 모델의 지나치게 엄격한 안전 가이드라인이 지시 이행 능력을 저하시킨다는 의견이 주를 이룹니다.
참고로, Gemini를 써본 사람이라면 여기서 정의한 내용이 사실이 아니라는 걸 알 거임. Gemini는 모든 입력과 출력을 압축함. 컨텍스트 윈도우는 항상 15만에서 18만 토큰 사이로 압축됨. 들어오거나 나가는 모든 것, 혹은 입력하는 모든 것이 압축됨. 그래서 이 벤치마크는 틀렸음. 장담할 수 있음. Gemini를 어떻게든 써보려고 4개월을 보냈거든. Opus 5와 함께 가장 기만적인 모델임…
Gemini 앱을 말하는 거임, 아니면 API를 말하는 거임? 앱은 확실히 그렇긴 한데, 그건 그냥 챗 인터페이스 설계 문제임. 전문적인 작업용이라면 최소한 AI Studio를 써야지.
아니면 API도 그렇다는 거임? 개인적으로는 컨텍스트 압축이 일어난다는 증거를 본 적이 없는데.
Gemini 3.7은 이전 플래시 모델들보다 크게 개선됐음. 그리고 보통 '건초 더미 속 바늘 찾기' 같은 상황에선 벤치마크 점수가 아주 잘 나옴.
Antigravity. 내가 테스트해 본 바로는 context compression 문제뿐만이 아니었음. 캐시 문제도 있었음. 그냥 내용을 건너뛰고 다시 읽지를 않더라고. 예를 들어, 나는 데이터를 계속 다시 쓰고 이름을 바꾸게 해서 강제로 데이터를 다시 읽게 만드는 방식으로 이 문제를 해결했음. 몇 달 동안 올바른 궤도를 유지하게 하려고 테스트를 해봤는데, 계속 나를 속이려고 하고 그냥 아무 랜덤한 답변이나 내뱉는 걸 발견했음. 정말 아름다운 디자인을 만들 수 있었는데 …
잘 모르겠지만 CLI에서 Opus 쓰다가 Fable로 바꾸면... Claude.md에 적힌 대로 그냥 알아서 척척 해내는 게 참 묘함. 굳이 찌르거나 프롬프팅 안 해도 말이지.
벤치마크 점수 잘 나오게 하려고만 학습됐기 때문이지.
아마 Anthropic이 악의적인 사용자가 원하는 건 뭐든 하지 않는 모델을 만들려고 엄청나게 노력했기 때문일 거임. 그 결과로 지시 이행 능력이 떨어진 건 말이 된다고 봄.
Gemini가 지시 이행은 제일 잘하는데, Gemini가 시키는 대로 하게 만드는 건 진짜 너무 쉬움.
그 말이 맞을지도 모름. Opus 5한테 업무용 파워포인트 발표 자료 좀 만들어달라고 했더니(졸업한 지 6년이나 됐는데), 윤리적으로나 학문적으로 옳지 않다면서 나한테 총구를 겨누는 거임... 그러고는 미친 듯이 나랑 논쟁만 계속하더라.
