GLM/Qwen 감상 공유

근데 여기서 Qwen 27b랑 Flash를 비교하는 거 아님? 27b가 Flash 중의 Flash 아닌가? 훨씬 더 작은 거잖아?

그런 의미에서 지식의 강자라기보다는, 실행자(executor)에 가깝지 않나?

모델이 자신의 주장과 근거를 팩트 체크할 방법(문서, 테스트 경로, 인터넷 검색, 규칙 등)을 제공하고 프롬프트를 잘 짜면 헛소리 안 함. 모델은 엄청나게 열의가 넘쳐서 실행하고 싶어 하고, 네가 목표에 빈틈을 주면 그걸 채우려고 시도할 거임. 빈틈을 올바르게 채울 도구를 주면 완벽함. Flash의 열의는 강점임. 싸고 토큰 윈도우도 크잖아. 마음껏 부려 먹어.

그냥 한마디 던지자면 - 작은 모델에서의 환각과 과대평가는 (불행히도) 증류 과정에서 피할 수 없는 부분임. 연구소들이 새 모델을 출시할 때 항상 가장 큰 모델을 먼저 훈련함(큰 모델은 일반적으로 매개변수가 상당히 과하게 설정됨, 3년 전 연구에 따르면 큰 모델은 FLOPS 증가에 비해 불균형적으로 빠르게 학습하기 때문). 큰 모델은 의도적으로 '비효율적'으로 크게 만듦. 어쨌든:

다음으로 연구소는...

Qwen3.6 27b를 한동안(주로 코딩 작업) 돌리다가 최근에 V4 flash 0731로 바꿔봤음. 새로운 v4 flash가 더 자신감 있게 엉뚱한 소리를 많이 한다는 게 아주 분명했음.

네 설정 문제임 친구.

나는 open code에서 제공하는 걸 사용하는데 환각이 0임. 내가 써본 것 중 claude 데스크탑의 opus5와 가장 흡사한 모델임(조금 더 멍청하긴 함). 말 그대로 opus5처럼 완성된 결과물을 내놓음.

설정 좀 공유해 줄 수 있음?

당당하게 틀리는 건 아무도 벤치마크 안 하는 지표인데, 이게 유일하게 내 시간을 진짜 잡아먹는 요소임. 모를 때는 모른다고 말해주는 모델이라면 벤치마크 점수 3점 정도 낮아도 상관없음

맞음, 내가 공유한 부분은 동일한 벤치마크에서 환각률(오답 / (오답 + 부분 정답 + 시도 안 함))을 뺀 수치임. 즉, v4는 전체적으로 완전히 틀린 답변을 훨씬 더 많이 생성했고, 정확도 탭을 보면 다른 모델들보다 정답도 더 많이 생성했음.

다른 모델들은 신중하게 답변을 회피하거나 부분적으로 맞는 답변을 내놓는 반면, DS V4는 때로는 맞고 때로는 틀린 자신감 있는 답변을 내놓음. 즉, 환각이 더 심하다는 뜻임.

환각률은 매우 흥미롭고 진정으로 가치 있는 지표임(특히 지식 기반이 제한적인 작은 모델의 경우). 하지만 한 가지 기억해야 할 점이 있음: 환각률이 100%라고 해서 모델이 모르는 질문을 할 때마다 매번 엉뚱한 소리를 한다는 뜻은 아님.

하지만 만약 네가 에이전트 환경에서 모델을 실행하고 있고, 같은 질문을 한다고 가정해 보자. 모델은 나가서 리서치를 하고...