Nemotron 3.5 Super VL을 놓치지 마세요
Don't sleep on Nemotron 3.5 Super VL
핵심 요약
Nemotron 3.5 Super VL 모델이 고전 게임 지식 테스트에서 다른 대형 모델들보다 뛰어난 성능을 보였습니다.
- 모델 성능 테스트 — 1998년 게임 Anno 1602의 복잡한 규칙과 에디션을 질문하여 환각 현상 확인
- Nemotron 우위 — 다른 120B 모델들보다 지식 정확도가 높고 환각이 적음
- 하드웨어 사양 — RTX 5060 Ti 16GB 듀얼 구성에서 원활한 추론 속도 기록
- 게임 지식 학습 — 엔비디아 모델 특성상 게임 관련 데이터가 더 잘 학습되었을 가능성 제기
다들 안녕,
내가 스스로 테스트해보는 벤치마크 중에 하나가 1998년에 나온 Anno 1602(이거 버전도 존나 많아서 헷갈림) 게임 규칙 같은 마이너한 지식을 확인하는 거거든. 웹 검색은 금지임.
지금까지 테스트해 본 것들 중에서 틈새 정보 쪽은 이게 제일 근접했음:
-
GPT-OSS 120B-A5B: 게임 에디션이랑 업그레이드 요구 사항 죄다 환각 일으킴
-
Qwen3.5-122B-A12B: 게임 에디션이랑 업그레이드 요구 사항 죄다 환각 일으킴
-
Qwen3.8-flash-next: 게임 에디션이랑 업그레이드 요구 사항 죄다 환각 일으킴
-
DeepSeek v4 Flash Vision Exp: 업그레이드 요구 사항을 다르게 환각 일으킴
-
Gemma 4 31B IT QAT: 업그레이드 요구 사항에서 너무 많은 부분을 빼먹음
-
Nemotron 3.5 Super VL: 시민에서 상인으로 갈 때 소금 필요하다고 환각, 정착민한테 교회 필요한 거 빼먹음, 상인이랑 귀족한테 필요한 랜드마크도 빼먹음
다른 모델들이랑 비교하면 이건 엄청난 발전임! 아예 틀린 수준에서 사소한 실수 정도만 하는 수준까지 올라왔으니까.
모델 자체(unsloth 양자화, NVFP4)는 RTX 5060 Ti 16GB 두 장에 DDR5-6000MHz 48GB 두 개 꽂은 환경에서 MTP 없이, 레이어 분할 없이, vulkan으로 돌렸을 때 생성 속도 8~10 t/s, 처리 속도 150~170 t/s 정도 나옴.
계속 쓸만한 모델인 듯.
Gemma 4 31B IT QAT 성능도 진짜 미쳤네.
[수정] 사용한 추론 엔진 및 모델:
-
llama.cpp 0.7.0, 사용 모델: https://github.com/ggml-org/llama.cpp/releases?page=4#release-b11669
-
GPT-OSS-120B용 MXFP4: https://huggingface.co/bartowski/openai_gpt-oss-20b-GGUF
-
Qwen3.5-122B-A10B용 Q4_K_S: https://huggingface.co/unsloth/Qwen3.5-122B-A10B-MTP-GGUF
-
Qwen3.8-flash-next용 Q4_K_XL:
