r/LocalLLaMA•약 3시간 전•96•47
클라우드 API 엔드포인트를 신뢰할 수 없는 이유: 40일간의 코딩 에이전트 원격 측정 데이터로 본 deepseek-v4.1-flash 모델의 몰래 바뀐 업데이트(-1017 버전, '빠른 실행, 짧은 답변' = 욕설 3배 증가, 모델 교체 6.7배 증가)
Why you can't trust cloud API endpoints: 40 days of coding-agent telemetry showing the exact day providers silently overwrote deepseek-v4.1-flash with -1017 ("faster execution, shorter answers" = 3x more swearing and 6.7x more model switches)
핵심 요약
클라우드 API가 사용자 고지 없이 모델 가중치를 교체하여 성능이 저하된 사례를 분석하고, 이를 통해 로컬 모델 운영의 필요성을 강조함.
- 모델 성능 저하 — 업데이트 이후 에이전트가 도구 호출에만 급급하고 추론 능력이 떨어짐
- 욕설 지표 활용 — 모델의 성능 변화를 측정하는 수단으로 사용자의 욕설 빈도를 역이용함
- 클라우드 신뢰 문제 — API 제공자가 예고 없이 모델 가중치를 덮어씌워 롤백이 불가능함
- 로컬 운영의 장점 — 특정 체크포인트를 고정하여 모델의 일관성을 유지할 수 있음
10월 중순쯤부터 갑자기 deepseek-v4.1-flash가 내 코딩 에이전트에서 멍청해진 느낌이 들어서, 로컬 세션 로그를 뜯어보며 언제부터 맛이 갔는지 확인해 봤다.
업데이트 전에는 지가 영어로 말하고 있다고 100% 확신하면서 갑자기 중국어로 대답하는 웃긴 버그가 있었다.
10월 17일에 나온 -1017 업데이트에서 그 중국어 튀어나오는 문제를 고치고 툴 호출을 더 공격적으로 하게 바꿨는데, 그 과정에서 모델 지능을 아예 거세해 버린 것 같다.
제공업체들은 10월 19일까지 아무 말 없이 deepseek-v4.1-flash 엔드포인트를 새 가중치로 덮어씌웠다. 덕분에 내 욕설 빈도는 3배로 늘었고, 세션 도중에 모델을 갈아타는 횟수는 6.7배나 많아졌다. 클라우드 API라 예전 가중치로 롤백할 방법도 없다.
