r/codex•3일 전•564•221
모델 성능 저하(nerf) 글들이 헛소리인 줄 알았는데… 오늘 겪어보고 생각이 바뀌었다
I thought the “model nerf” posts were bullshit… until today
핵심 요약
사용자별로 모델 성능이 다르게 적용되는 '모델 너프' 현상을 직접 경험한 사용자의 의혹 제기.
- 모델 너프 의혹 — 특정 사용자에게만 성능이 낮은 모델이 할당되는 현상 발생함
- Pelican 테스트 — SVG 애니메이션 생성 요청을 통해 모델 성능 저하를 확인함
- 안티 디스틸레이션 정책 — 중국 LLM 기업 견제를 위해 의도적으로 모델을 교체한다는 주장 제기됨
- 사용자별 차등 적용 — 계정마다 성능이 달라 커뮤니티 내에서 성능 저하 여부를 두고 논쟁이 지속됨
astra 6 쓰고 있는데, 오늘 갑자기 멍청해져도 너무 멍청해진 느낌임.
그래서 펠리컨 테스트를 돌려봤거든:
“Write HTML code that displays a 2D animation of a pelican riding a bicycle using SVG graphics. No additional testing is required.”
아니나 다를까. 제대로 잭팟 터져서 양자화된 모델 결과물 튀어나오더라.
솔직히 여기 사람들이 모델 성능 너프 먹었다고 할 때마다, 그냥 플라시보 효과거나 음모론인 줄 알았거든.
근데 이제 왜 다들 그렇게 빡쳐하는지 알 것 같다.
진짜 개같은 점은, 만약 이게 실제로 일어나는 일이라면, 모든 사람이 동시에 성능 저하를 겪는 게 아니라는 거야. 어떤 유저는 일시적으로 눈에 띄게 구린 모델을 쓰게 되는데, 다른 사람들은 "내 건 멀쩡한데?" 이러니까 커뮤니티 안에서 너프가 진짜냐 아니냐로 서로 싸우게 되는 거지.
난 진짜 사람들이 이거 지어내는 줄 알았어.
근데 아닐 수도 있겠네.
추신: 영어 모국어 아니라서 이 글도 AI 써서 작성함. 저번에 말 안 했다가 문법이랑 띄어쓰기 너무 완벽하다고 지적질 당해서 미리 말해둠.
