r/codex•7일 전•191•109
같은 모델인데 계정마다 성능이 다름
Same model, different capabilities on different accounts
핵심 요약
동일한 모델임에도 계정별로 성능 차이가 발생하는 현상에 대해 사용자들이 A/B 테스트나 계정 제재 가능성을 제기하며 분석 중입니다.
- 성능 저하 현상 — 특정 계정에서 모델의 응답 품질과 3D 생성 능력이 눈에 띄게 떨어짐
- 계정별 차이 — 동일한 프롬프트를 사용해도 계정에 따라 지식 컷오프 날짜나 응답 방식이 다르게 나타남
- 기술적 분석 — 웹소켓 헤더나 프록시를 통해 모델 라우팅이 계정마다 다르게 설정되고 있음을 확인
- 사용자 우려 — 개발 업무 중 모델 성능이 갑자기 저하될 경우 마감 기한을 맞추기 어렵다는 불만 제기
며칠 전부터 결과가 갑자기 개판 나길래 눈치챘다. 똑같은 걸 계속 반복하고, 예전엔 가볍게 풀던 문제도 쩔쩔매고, 결과 검증도 제대로 안 하고 난리도 아님. 3D 생성도 눈에 띄게 구려졌고.
계정 2개를 쓰는데 하나는 x20, 하나는 x5라서 바로 옆에 띄워놓고 비교해 봤다.
내가 한 짓은 이거임:
- 둘 다 지식 컷오프 날짜가 언제인지 물어봄:
do not use any tools. whats your knowledge cut-off date
x20 계정은 "2024년 6월"이라고 대답하는데, x5 계정은 특정 날짜를 말 안 하고 튕김.
x20 계정
x5 계정
- 둘 다 펠리컨 그려보라고 시킴:
make me an svg in an .html with a pelican and xdg-open it
