poolside/Laguna-S-2.1 출시! 드디어 흥미로운 120B 경쟁자가 나타났다!

더 안 좋음. Qwen 3.5 100b는 에이전트 작업 제대로 수행하는데, Laguna는 못함. 생각하다가 지 혼자 컨텍스트 윈도우 다 써버림.

와, 나 오늘 RTX 6000 2개로 Deepseek-V4-Flash-NVPF4 돌리느라 5시간이나 썼는데

참고로 이 사람 Q8 KV cache 썼는데, 이러면 모델 성능 좀 깎임. 게다가 max_tokens를 8k로 제한했으니, 더 길게 생각해서 제대로 된 답변을 못 내놓은 걸 수도 있음.

공유해준 벤치마크 리뷰는 풀 프리시전 모델 대신 퀀트(NVFP4)를 썼고, 심지어 KV cache까지 퀀트를 써서 공정한 평가라고 보기 힘듦. 그래도 세부 사항을 기록해둔 건 다행인데, 모델마다 퀀타이즈할 때 성능 저하 폭이 다르다는 걸 감안해야 함. 풀 프리시전 모델은 광고한 만큼 강력할 수도 있음.

그 스레드 작성자 nvfp4에 q8 kv cache 썼네. fp8 모델 웨이트랑 bf16 kv cache로 직접 테스트해보기 전까지는 판단 보류함.