Mistral-Medium-3.5-128B-Q3_K_M on 3x3090 (72GB VRAM)
3개의 3090 GPU를 활용해 Mistral-Medium 모델을 로컬에서 구동한 성능 테스트 결과 공유.
3x3090에서 로컬로 구동 중인 Mistral Medium Q3의 실제 속도임.
먼저 Python 코드
그다음 SVG
그다음 HTML
대체로 Mistral Medium의 성능이 기대에 미치지 못하며, Qwen이나 Gemma 같은 다른 모델들에 비해 느리고 비효율적이라는 부정적인 평가가 주를 이룹니다.
Pelican은 별로임. 근데 SVG 벤치마크는 어차피 과적합된 거 같음.
ㅇㅇ Q3 양자화 품질 확인하고 싶었음. 최소한 세 파일 다 유효한 코드는 나오더라.
그럼 OpenRouter에서 같은 프롬프트랑 샘플러 써서 Pelican 돌려봐야 할 듯.
OpenRouter에 물어봐 줄 수 있음?
내 프롬프트는 네 거랑 다를 텐데. 오늘 아침에 받은 Q4_K_M으로 테스트는 가능함.
스크린샷에 보이는 단일 프롬프트임.
난 보통 시스템 프롬프트 없이 모델 그냥 안 돌림. 내가 쓰는 OpenRouter는 이미 다 설정되어 있어서.
프롬프트 처리 속도도 나옴?
ik_llama에서 graph split 써봐, TG 속도 좀 오름.
방금 받아서 제대로 튜닝은 안 함. 그냥 devstral 명령어 복붙했는데 좀 느린 듯. 4x3090 Q4_K_M 기준... (표 데이터 생략)
이렇게 큰 모델이 Qwen 3.6 27B보다 구리다는 게 레전드네.
뭐에 따라 다르지. 난 글쓰기 성능이 이전 Mistral-Large 같길 바랄 뿐임. 코딩 모델은 널리고 널렸으니까.
Gemma 4 31b나 Qwen 3.6 27b랑 비교하면 어떰?
더 느리고 내가 테스트한 거 중에 딱히 더 똑똑한지도 모르겠음. 덩치 큰 모델이라 오버싱킹 좀 덜할까 싶었는데 벤치마크 질문 하나에서 10k 토큰 넘게 오버싱킹 루프 돌더라. Qwen 27b는 2000 토큰도 안 걸렸는데...
어떤 양자화 썼음? 아니면 풀 정밀도로 돌림?
자율주행 트럭이 모래 4만 파운드를 쏟은 사고를 보고, AI가 GPU를 만들기 위해 벌인 일이라며 농담하는 커뮤니티 반응.
자율주행 트럭이 모래 4만 파운드를 쏟은 사고를 보고, AI가 GPU를 만들기 위해 벌인 일이라며 농담하는 커뮤니티 반응.
일론 머스크가 공유한 AI 모델 순위표에서 Gemini가 하위권으로 평가받자 커뮤니티에서 논쟁이 벌어짐.
일론 머스크가 공유한 AI 모델 순위표에서 Gemini가 하위권으로 평가받자 커뮤니티에서 논쟁이 벌어짐.
Anthropic이 공개한 Claude 3.5 Opus 공식 프롬프팅 가이드의 핵심 요약 12가지.
Anthropic이 공개한 Claude 3.5 Opus 공식 프롬프팅 가이드의 핵심 요약 12가지.