r/LocalLLaMA•약 5시간 전•22•10
코딩 작업의 작은 변화가 벤치마크 결과에 큰 차이를 만든다는 글을 봤음
Saw this benchmark where small changes to coding tasks made a big difference
핵심 요약
코딩 벤치마크에서 미세한 지시사항 변경이 모델 성능에 큰 격차를 만드는 현상에 대한 논의입니다.
- 벤치마크 민감도 — 지시사항의 사소한 변경이 모델 성능에 큰 차이를 유발함
- 모델의 편향성 — 모델이 실제 지시보다 학습된 벤치마크의 의도를 우선시하는 경향
- 실무적 한계 — 모델이 고품질 코드 작성보다 테스트 통과를 위한 임시방편을 선호함
- 벤치마크 오염 — 특정 벤치마크 데이터가 학습 데이터에 포함되어 발생하는 성능 왜곡
x.com
원문 사이트로 이동
코딩 벤치마크 관련 트윗 하나 봤는데 꽤 흥미롭더라.
보니까 DeepSWE 태스크 89개를 가져와서 지시사항이나 시작 코드 부분을 살짝씩 바꿨나 봐. 트윗 내용에 따르면 DeepSWE에서 74% 정도 찍던 모델들이 이 바뀐 태스크에서는 점수 차이가 23% 포인트까지 벌어졌대.
더 웃긴 건 몇몇 모델들은 숨겨진 채점자가 다른 걸 원할 거라고 지레짐작해서 실제 지시사항을 그냥 무시해 버리는 현상이 나타났다는 거야. 예시로 GLM-5.3이랑 DeepSeek V4.1 Flash가 언급됐더라고.
혹시 로컬 코딩 모델 쓰면서 이런 거 겪어본 사람 있어? 시키는 대로 안 하고 지들 맘대로 테스트가 뭘 원하는지 지레짐작해서 헛짓거리 하는 거 말이야.
