Gemini 3.1 Pro는 코딩 및 장기 작업을 제외한 거의 모든 벤치마크에서 여전히 최고임

코딩을 그렇게 못하는 건 아님. 그냥 제대로 된 하네스와 기술이 필요할 뿐이지. 대부분의 벤치마크는 네이티브 하네스를 사용하지 않거나 에이전트 워크플로우나 기술을 제대로 활용하지 않고 있음. 원샷 방식은 잘못된 접근임.

맞아, 동감함! 하지만 지금 SOTA 모델들과 비교하면 Gemini 3.1 pro는 코딩에서 확실히 밀리고 있음. 그래도 사람들이 그 카테고리에서 구형 모델을 쓰기보다는 3.7 flash를 사용하는 게 좋을 듯.

그냥 느낌만 가지고 말하는 게 아니라 벤치마크로 주장을 뒷받침하는 걸 보니 속이 다 시원하네.

환각 현상 격차가 엄청나네. Sol의 92%는 사람들이 평소에 말하는 것보다 훨씬 높은 수치라 놀라워. 검색에 의존해서 빈칸을 채울 수 없을 때 문서 분석이 왜 그렇게 들쭉날쭉한지 이해가 가네.

난 주로 창작 글쓰기나 브레인스토밍에 모델을 써서 긴 호흡의 작업은 잘 안 하지만, 어디가 약점인지 아는 건 좋네.

정치, 사회, 철학적인 질문을 던졌을 때 중립적인 것도 마음에 들어. ChatGPT는 너무 'woke'하고 사람을 가스라이팅하거든. Gemini 3.1 Pro는 저자나 책 같은 레퍼런스를 인용하면서 양쪽 입장을 다 제시해줘.

리스크 척도(https://dashboard.safe.ai)에서도 아주 높은 점수를 받았더라고. 이건 다른 모델들이라면 '주제에 대해 이야기할 수 없다'고 거절할 만한 질문에도 훨씬 더 잘 대답해준다는 뜻이지.

사실 새로운 3.5 pro나 4 pro가 나오면 무료 쿼리 제한을 줄이고 더 제한적이고 나쁘게 만들까 봐 걱정돼. GPT 4o 모델 때 그랬던 것처럼 말이야.

지금 나와 있는 모델 중 가장 좋은 무료 모델이고 매일 관대한 제한을 줘서 정말 유용해.