r/ClaudeAI•약 3시간 전•274•130

증거 - Opus 5.5 출시 당일 vs 오늘, 동일 프롬프트 사용 시 성능 저하 (Godot 엔진)

Evidence - Opus 5.5 today vs launch regression with same prompt (Godot Engine)

핵심 요약

사용자가 Opus 5.5의 성능 저하를 주장하며 동일 프롬프트 결과를 비교했으나, 커뮤니티는 표본 부족과 확률적 모델 특성을 이유로 비판하고 있습니다.

성능 저하 주장 — 출시 당일과 비교해 코드 품질 및 물리 엔진 구현이 퇴보했다고 주장함
표본 부족 논란 — 단 2회의 테스트만으로는 모델 성능 변화를 입증하기 어렵다는 지적이 많음
확률적 특성 — LLM은 비결정론적 모델이므로 동일 프롬프트라도 결과가 다를 수 있음을 간과함
검증 방식 비판 — 다수의 테스트와 통계적 접근 없이 단일 비교만으로는 증거가 될 수 없다고 반박함

On launch day Opus 5.5 kindly took up residence on my Mac. I ran some tests before trusting it on my big projects, it passed with flying colours. Lander, a game by Elite creator David Braben holds a special place in my soul due to it being the first game I played at school in the UK. With a cutting edge 3D engine for 1990 running on an Acorn Archimedes with RISC architecture (the first ARM chips) - what a time to be a young kid interested in computers.

With Opus 5.5 I want to recreate it faithfully, short draw-distances and all.

Well dear Claude I’ve been keeping receipts.

In my notes, the exact prompt * and two original reference images of Lander. The resulting one-shot Godot repo (Mac OS, Metal rendering, C#) from 23rd September is kept separate on disk and isn't used as a reference.

Today, 2nd October, in a fresh workspace from scratch the same prompt and reference images we fed in again.

The result is truly depressing. Lander by gimped 5.5 has no redeeming features compared to the original day zero version. The regressions:

A serious rendering glitch * that isn’t in the original - as the camera moves, the scenery props snag and glitch vs world space.
No spacecraft break-apart physics, the original implemented this ‘nice extra’ which wasn't specifically asked for in the prompt
No introductory controls menu, only a small text line permanently visible over the world view
An inferior look to the launch pad turrets - students and road users may recognise them!
When shooting, bullets are less accurately rendered when the craft moves, they also appear to spawn at the back of the craft and no-clip through

원문

커뮤니티 목록

r/ClaudeAI•약 3시간 전•274•130

증거 - Opus 5.5 출시 당일 vs 오늘, 동일 프롬프트 사용 시 성능 저하 (Godot 엔진)

Evidence - Opus 5.5 today vs launch regression with same prompt (Godot Engine)

핵심 요약

사용자가 Opus 5.5의 성능 저하를 주장하며 동일 프롬프트 결과를 비교했으나, 커뮤니티는 표본 부족과 확률적 모델 특성을 이유로 비판하고 있습니다.

성능 저하 주장 — 출시 당일과 비교해 코드 품질 및 물리 엔진 구현이 퇴보했다고 주장함
표본 부족 논란 — 단 2회의 테스트만으로는 모델 성능 변화를 입증하기 어렵다는 지적이 많음
확률적 특성 — LLM은 비결정론적 모델이므로 동일 프롬프트라도 결과가 다를 수 있음을 간과함
검증 방식 비판 — 다수의 테스트와 통계적 접근 없이 단일 비교만으로는 증거가 될 수 없다고 반박함

With Opus 5.5 I want to recreate it faithfully, short draw-distances and all.

Well dear Claude I’ve been keeping receipts.

Today, 2nd October, in a fresh workspace from scratch the same prompt and reference images we fed in again.

The result is truly depressing. Lander by gimped 5.5 has no redeeming features compared to the original day zero version. The regressions:

A serious rendering glitch * that isn’t in the original - as the camera moves, the scenery props snag and glitch vs world space.
No spacecraft break-apart physics, the original implemented this ‘nice extra’ which wasn't specifically asked for in the prompt
No introductory controls menu, only a small text line permanently visible over the world view
An inferior look to the launch pad turrets - students and road users may recognise them!
When shooting, bullets are less accurately rendered when the craft moves, they also appear to spawn at the back of the craft and no-clip through

지금 같이 볼 만한 글

r/ClaudeAI•1일 전

Opus 5.5 성능 저하(너프) - 측정 방법, 확인 방법, 그리고 고소 방법

Opus 5.5의 성능 저하를 주장하며, 이를 측정하고 대응하기 위한 방법과 관련 법적 근거를 논의함.

1790361논쟁

Reddit 원문

r/GeminiAI•약 15시간 전

🤔

Gemini 모델의 출시 지연과 테스트 방식에 대한 사용자들의 회의적인 반응과 기술적 한계에 대한 분석이 이어짐.

Gemini 모델의 출시 지연과 테스트 방식에 대한 사용자들의 회의적인 반응과 기술적 한계에 대한 분석이 이어짐.

66567논쟁

Reddit 원문

r/ChatGPT•약 4시간 전

아니... 말이 되네

트럼프의 특정 작명이나 도메인 관련 음모론에 대해 사용자들은 대체로 회의적이고 비판적인 반응을 보임.

트럼프의 특정 작명이나 도메인 관련 음모론에 대해 사용자들은 대체로 회의적이고 비판적인 반응을 보임.

1023168

Reddit 원문

커뮤니티 전체 보기

원문

주요 댓글

r/claudeai

대다수의 사용자는 작성자의 테스트 방식이 비과학적이며, LLM의 확률적 특성을 고려하지 않은 표본 부족 테스트라고 비판하고 있습니다.

268

표본이 하나(N=1)인 건 증거라고 하기 어렵지.

114

확률적 기술을 사용하는 모델의 결과물 두 개를 비교해놓고 스스로를 AI 연구원이라 생각하는 사람들이 이렇게 많다는 게 놀라울 따름임.

바보 같은 질문일 수도 있는데, 출시 때랑 지금이랑 같은 프롬프트에 temperature=0.1을 썼으면 어땠을까?

-20

6가지 퇴보가 일어났는데 개선된 점은 하나도 없는 게 그냥 우연이라고 말하는 거야?

모델 성능 저하 글마다 계속 말하는 거지만:

Opus 5.5는 여러 벤더(Bedrock, Azure, Vertex)를 통해 제공됨. 앤스로픽이 그 모든 벤더와 짜고 유료 고객을 위해 동시에 더 나쁜 모델을 배포한다고 믿는 게 아니라면, 아주 간단하게 비교해볼 수 있음(성능 저하를 폭로하고 싶은 거대 연구소라면 누구나 할 법한 방식).

그리고 표본(N)은 1보다 커야 함.

맞음. 거대 연구소가 마법처럼 거대 모델을 양자화해서, 아무도 눈치채지 못하게 혹은 내부 고발 없이 업데이트를 몰래 끼워 넣을 수 있다고 생각하는 게 웃김. 걔네는 출시 전에 전 세계가 일주일 동안 루머를 퍼뜨리지 않고는 뭘 내놓지도 못하는 수준인데.

Opus 5.5는 여러 벤더(Bedrock, Azure, Vertex)를 통해 제공됨.

이런 글이랑 이게 무슨 상관인지 모르겠네. 일반적인 사용자는 Anthropic을 통해 직접 라우팅되는 개인 oauth 플랜을 쓰고 있고(서드파티 컴퓨팅을 거치더라도), 이런 비교를 할 때는(방법론에 결함이 있을지라도) 거의 확실히 벤더를 바꾸지 않음.

Anthropic은 가중치를 바꾸지 않고도 백엔드에서 모델 출력의 충실도를 바꿀 수 있는 방법이 많음. 이건 같은 모델을 쓰는 다른 벤더들과 비교했을 때 응답 품질이 다를 수 있다는 뜻임.

표본 하나 더 추가해라, 나도 품질이 좀 떨어진 것 같긴 함.

그치. 결론을 내리기 전에 출시 당일 프롬프트 결과 5개랑 오늘 프롬프트 결과 5개를 비교해봐야 할 것 같음.

그리고 사용한 프롬프트랑 Opus가 디자인을 얼마나 해석하게 뒀는지도 보고 싶네.

아니 형, 이해를 못 하네. 두 번이나 해봤다잖아!

확률적 시퀀스 예측 모델에서 나온 서로 다른 결과는 아무것도 증명하지 못함

솔직히 그렇게 큰 차이는 아님. 작은 깜빡임 버그 같은 건 일어날 수 있는 일이고, 아마 적은 노력으로도 금방 고칠 수 있을 듯.

-22

진짜 맹세하는데, 너희들은 기본적인 연구 규율을 전혀 모르는 것 같음. 그런 주장을 하려면 단발성 프롬프트 비교가 아니라 일련의 테스트가 필요한데, 하물며 내부 작동 방식이 완전히 확률적인 소프트웨어라면 더더욱 그렇지.

쓸모없는 테스트임. 최소한 1일 차에 같은 프롬프트를 10번 돌리고 10일 차에 다시 10번 돌려서 그 차이를 비교했어야지.

원문r/ClaudeAI

주요 댓글

r/claudeai

대다수의 사용자는 작성자의 테스트 방식이 비과학적이며, LLM의 확률적 특성을 고려하지 않은 표본 부족 테스트라고 비판하고 있습니다.

268

표본이 하나(N=1)인 건 증거라고 하기 어렵지.

114

확률적 기술을 사용하는 모델의 결과물 두 개를 비교해놓고 스스로를 AI 연구원이라 생각하는 사람들이 이렇게 많다는 게 놀라울 따름임.

바보 같은 질문일 수도 있는데, 출시 때랑 지금이랑 같은 프롬프트에 temperature=0.1을 썼으면 어땠을까?

-20

6가지 퇴보가 일어났는데 개선된 점은 하나도 없는 게 그냥 우연이라고 말하는 거야?

모델 성능 저하 글마다 계속 말하는 거지만:

그리고 표본(N)은 1보다 커야 함.

Opus 5.5는 여러 벤더(Bedrock, Azure, Vertex)를 통해 제공됨.

표본 하나 더 추가해라, 나도 품질이 좀 떨어진 것 같긴 함.

그치. 결론을 내리기 전에 출시 당일 프롬프트 결과 5개랑 오늘 프롬프트 결과 5개를 비교해봐야 할 것 같음.

그리고 사용한 프롬프트랑 Opus가 디자인을 얼마나 해석하게 뒀는지도 보고 싶네.

아니 형, 이해를 못 하네. 두 번이나 해봤다잖아!

확률적 시퀀스 예측 모델에서 나온 서로 다른 결과는 아무것도 증명하지 못함

솔직히 그렇게 큰 차이는 아님. 작은 깜빡임 버그 같은 건 일어날 수 있는 일이고, 아마 적은 노력으로도 금방 고칠 수 있을 듯.

-22

쓸모없는 테스트임. 최소한 1일 차에 같은 프롬프트를 10번 돌리고 10일 차에 다시 10번 돌려서 그 차이를 비교했어야지.

원문r/ClaudeAI