r/LocalLLaMA•15일 전•948•173논쟁

DeepSeek V4.1 Flash, AA의 새로운 벤치마크에서 Astra를 앞지르다

DeepSeek V4.1 Flash beats Astra on AA's new benchmark

핵심 요약

AA의 새로운 벤치마크에서 DeepSeek V4.1 Flash가 1위를 차지했으나, 환각 문제와 벤치마크 신뢰성에 대한 논란이 이어지고 있습니다.

벤치마크 업데이트 — AA가 Intelligence Index v4.3을 통해 새로운 비공개 평가 방식을 도입함.
성능 순위 변동 — DeepSeek V4.1 Flash가 Astra를 제치고 1위에 오르며 새로운 강자로 등극함.
환각 현상 우려 — 높은 성능과 함께 환각 비율도 높다는 지적이 제기됨.
평가 신뢰성 논란 — 도구 사용 환경과 모델의 실제 성능 간 괴리에 대한 의문이 제기됨.

https://artificialanalysis.ai/articles/artificial-analysis-intelligence-index-v4-3

AA가 지난주 Intelligence Index v4.3 업데이트의 일환으로 새로운 벤치마크를 내놨음. τ³를 대체하는 완전히 새로운 비공개 평가 방식임. Astra가 거기서 점수를 엄청나게 쓸어 담으면서 Fable이랑 동급까지 따라잡았는데… 보아하니 새로운 왕이 등장한 모양임.

그러니까 Astra가 Fable보다 아주 형편없어 보이진 않게 하려고 3일 동안 지수를 두 번이나 바꿨는데, 정작 웬 듣보잡이 조용히 1위를 차지해 버렸네.

원문

커뮤니티 목록

r/LocalLLaMA•15일 전•948•173논쟁

DeepSeek V4.1 Flash, AA의 새로운 벤치마크에서 Astra를 앞지르다

DeepSeek V4.1 Flash beats Astra on AA's new benchmark

핵심 요약

AA의 새로운 벤치마크에서 DeepSeek V4.1 Flash가 1위를 차지했으나, 환각 문제와 벤치마크 신뢰성에 대한 논란이 이어지고 있습니다.

벤치마크 업데이트 — AA가 Intelligence Index v4.3을 통해 새로운 비공개 평가 방식을 도입함.
성능 순위 변동 — DeepSeek V4.1 Flash가 Astra를 제치고 1위에 오르며 새로운 강자로 등극함.
환각 현상 우려 — 높은 성능과 함께 환각 비율도 높다는 지적이 제기됨.
평가 신뢰성 논란 — 도구 사용 환경과 모델의 실제 성능 간 괴리에 대한 의문이 제기됨.

https://artificialanalysis.ai/articles/artificial-analysis-intelligence-index-v4-3

그러니까 Astra가 Fable보다 아주 형편없어 보이진 않게 하려고 3일 동안 지수를 두 번이나 바꿨는데, 정작 웬 듣보잡이 조용히 1위를 차지해 버렸네.

주요 댓글

r/localllama

사용자들은 새로운 벤치마크 지표의 신뢰성과 모델별 hallucination 성능 차이에 대해 활발히 논의하고 있습니다.

450

안타깝게도 환각 벤치마크에서도 1위를 차지했네. Minimax M3가 어디 있는지 비교해 봐. 진짜 환각 문제를 개선해야...

271

그냥 다 1위네. 높을수록 좋지.

빠른 게 최고지, 비공개 환경이 아니라면 말이야 😅

내가 hallucination을 일으켜서 내가 최고라고 생각하면, 그럼 난 최고인 거임.

여기서 AA-Omniscience가 제대로 이해되지 않은 것 같음. 이건 도구를 전혀 주지 않은 상태에서 모델들에게 아주 어려운 질문을 던져서 테스트하는 거임. 요즘 모델들은 도구 사용법을 엄청나게 훈련받음. 도구, 도구, 도구. 모든 것에 도구를 쓰지. 그러고 나서 도구 없이 깊이 생각해서 답하라는 환경에 던져놓으면? 이 모델들은 물 밖으로 나온 물고기 신세임. 수영을 얼마나 잘하는지랑은 아무 상관이 없지. 이 벤치마크는 이 모델들이 환각을...

길이 제한으로 뒷부분이 생략된 댓글입니다 · 원문에서 전체 보기 →

그리고 벤치마크 절반만 골라서 MiniMax M3가 잘하고 있다고 주장하고 싶다면, 벤치마크 나머지 절반도 보고 어떻게 나오는지 확인해보자. M3는 거의 바닥권임. DeepSeek V4.1 Flash가 벤치마크 이쪽 면에서는 훨씬 나아 보임.

길이 제한으로 뒷부분이 생략된 댓글입니다 · 원문에서 전체 보기 →

모델들이 모른다고 답할 수도 있지. 툴을 써도 답을 못 찾는 상황은 많을 텐데. 과연 솔직하게 말할까? 그게 바로 hallucination rate가 측정하는 거임.

이게 바로 glm-5.3이 최고인 이유지.

glm5.3-flash 진짜 엄청 좋다는 거 인정함.

287

아니 제발, 좀 천천히 좀 해!

110

그래 다리오, ㅋㅋㅋ.

130

벤치마크 하나만 믿으면 안 됨. 특히 모델들 간 차이가 오차 범위 내에 있을 때는 더더욱. 이건 그냥 모델들이 이 벤치마크를 풀 수 있는 능력을 공유한다는 것만 보여줄 뿐임. 4.1은 훌륭함. 5.3 flash도 마찬가지고. 하지만 Opus5/Fable/Astra/Sol 급은 아님. 대부분 작업에서 이들과 구분하기 힘들 정도로 좋긴 하지만(이 벤치마크가 보여주려는 것), 다른 분야에선 그만큼 좋지 않음. (Terminal bench 4가 관찰 결과와 일치하는데, 이것들도 눈에 띄게...)

잘 모르겠는데, dsv4가 fable보다 몇백 배는 더 싸지 않나? openrouter에서 데이터 보존 없이 100만 토큰당 0.035달러임. 4.1 flash는 0.15달러고. 제공 업체들 더 나오면 분명히 가격 좀 더 내려갈 거임. fable만큼 좋을 필요도 없음, 그냥 적당히 일 잘할 정도면 충분하지.

원문r/LocalLLaMA