Gemini 3.8 Flash Benchmark Results
Gemini 3.8 Flash의 성능을 두고 사용자들의 실사용 테스트와 벤치마크 점수에 대한 활발한 논의가 이어지고 있습니다.
야, 이거 생각보다 꽤 괜찮은데?
Gemini 3.8 Flash의 성능과 자율적 앱 조작 능력에 대해 긍정적인 평가가 많으나, 일부 벤치마크 점수와 장황한 답변 방식에 대해서는 의견이 엇갈리고 있습니다.
방금 이런 프롬프트로 테스트해 봤어: '래리 버드 대 닥터 J의 1대1 농구를 Three.js로 재현해 줘. 관리인, 깨지는 유리창, 효과음까지 포함해서.' 결과물은 이거야: https://ctxt.io/3/mpb6vO48w - 10초도 안 걸렸어.
Terra는 3배 정도 더 걸렸는데 결과물은 이거고: https://ctxt.io/3/tIbhBDCMg
그리고 Fable 5.1은 얼마나 걸렸는지 모르겠어. 기다리다 지쳐서 꺼버렸거든: https://ctxt.io/3/qCaVlUU4U
관리인 디테일이 너무 구체적이라 마음에 드네. 사람들이 앞으로 이 모델을 얼마나 이상하고 틈새를 노리는 프롬프트로 스트레스 테스트할지 궁금해.
실행 결과는 어떻게 봐? HTML 파일로 직접 복사해서 넣어야 하는 거야?
난 HTML 앱을 미리 보거나 호스팅할 때 canvaslink를 써.
확실히 Fable 5.1이 나머지 둘보다 몇 단계는 더 뛰어나네.
왜 터미널 벤치마크에서 완전히 망했는지 궁금하네.
그건 터미널 벤치 4.0이고, 2.1에서는 상위권이야. 작은 모델치고는 Terra와도 해볼 만한 수준이라 나쁘지 않아.
근데 너무 장황함😣 Humanity's last exam이나 Sci-code 같은 지식 벤치마크에서는 점수가 더 낮게 나오네
HLE 점수가 낮다는 게 무슨 소리임? Gemini 3.8 Flash는 54.9%인데 Opus 5는 54.4%잖아.
뭐, 터미널 벤치 4가 나온 이유는 2.1이 포화 상태라 지난 6개월간 나온 거의 모든 모델이 75% 이상 점수를 받을 수 있기 때문이지.
너무 과장하지 마. 3.7보다 점수 엄청나게 개선된 거고 sonnet 5도 이기는데.
Sonnet 5는 확실히 별로임.
그래 개선된 건 맞고, 다른 벤치마크 대부분에선 frontier 모델이랑 비슷하거나 거의 맞먹는 수준인데, 이 벤치마크에선 frontier 점수의 절반도 안 나오니까, 모델의 어떤 약점이 드러난 건지 따져볼 가치가 있다고 봄.
장황하긴 해도 총비용은 여전히 훨씬 낮출 수 있을 듯.
맞음. 토큰 사용량에 상관없이 최종 결과물을 기준으로 측정하는 작업당 비용은 여전히 꽤 낮은 편임.
일론 머스크가 공유한 AI 모델 순위표에서 Gemini가 하위권으로 평가받자 커뮤니티에서 논쟁이 벌어짐.
일론 머스크가 공유한 AI 모델 순위표에서 Gemini가 하위권으로 평가받자 커뮤니티에서 논쟁이 벌어짐.
작성자가 저혈당 쇼크로 의식을 잃어갈 때 ChatGPT가 음성으로 계속 말을 걸어 깨워준 경험담입니다.
작성자가 저혈당 쇼크로 의식을 잃어갈 때 ChatGPT가 음성으로 계속 말을 걸어 깨워준 경험담입니다.
Anthropic의 모델이 그동안 과도하게 사용하던 em dash(—)를 줄이는 등 세밀한 개선을 이뤄낸 것에 대한 사용자들의 긍정적인 반응입니다.
Anthropic의 모델이 그동안 과도하게 사용하던 em dash(—)를 줄이는 등 세밀한 개선을 이뤄낸 것에 대한 사용자들의 긍정적인 반응입니다.