r/LocalLLaMA•2개월 전•64•27

로컬 모델들과 다양한 양자화/설정을 SWE-bench 검증 데이터셋 일부로 비교해 봄

I compared local models and different quants / config on a subset of swe-verified bench

핵심 요약

로컬 LLM 모델과 양자화 설정에 따른 성능을 SWE-bench 기반으로 비교 분석한 결과 공유.

벤치마크 분석 — SWE-bench 검증 데이터셋을 활용해 로컬 모델 및 양자화 설정별 성능 비교함.
데이터 시각화 — 모델별 튜닝 결과와 상세 벤치마크 데이터를 웹 페이지로 정리해 공유함.
방법론 논의 — 벤치마크 재현성과 양자화에 따른 성능 변화에 대해 기술적 토론이 이루어짐.
향후 계획 — 작성자가 휴가 후 추가 제안을 검토할 예정임.

많은 데이터를 수집했음. 여기서 직접 확인 가능

더 궁금한 사람들을 위해 추가 세부 정보는 여기에 있음.

그래프에서는 파인튜닝 모델들을 베이스 모델별로 묶었지만, 페이지에서 세부 내용을 확인할 수 있음.

이 페이지들을 생성하는 파이썬 코드는 당연히 'vibecoded'(대충 짠)임. 결과물이 꽤 괜찮고 나한테는 나름 유용함. 다른 사람한테도 유용할지도 모름.

몇 주간 휴가를 떠날 예정이지만, 제안 사항이 있다면 하나하나 검토하겠음.

원문

커뮤니티 목록

r/LocalLLaMA•2개월 전•64•27

로컬 모델들과 다양한 양자화/설정을 SWE-bench 검증 데이터셋 일부로 비교해 봄

I compared local models and different quants / config on a subset of swe-verified bench

핵심 요약

로컬 LLM 모델과 양자화 설정에 따른 성능을 SWE-bench 기반으로 비교 분석한 결과 공유.

벤치마크 분석 — SWE-bench 검증 데이터셋을 활용해 로컬 모델 및 양자화 설정별 성능 비교함.
데이터 시각화 — 모델별 튜닝 결과와 상세 벤치마크 데이터를 웹 페이지로 정리해 공유함.
방법론 논의 — 벤치마크 재현성과 양자화에 따른 성능 변화에 대해 기술적 토론이 이루어짐.
향후 계획 — 작성자가 휴가 후 추가 제안을 검토할 예정임.

많은 데이터를 수집했음. 여기서 직접 확인 가능

더 궁금한 사람들을 위해 추가 세부 정보는 여기에 있음.

그래프에서는 파인튜닝 모델들을 베이스 모델별로 묶었지만, 페이지에서 세부 내용을 확인할 수 있음.

이 페이지들을 생성하는 파이썬 코드는 당연히 'vibecoded'(대충 짠)임. 결과물이 꽤 괜찮고 나한테는 나름 유용함. 다른 사람한테도 유용할지도 모름.

몇 주간 휴가를 떠날 예정이지만, 제안 사항이 있다면 하나하나 검토하겠음.

주요 댓글

r/localllama

벤치마크 방법론의 재현성과 확률적 결과에 대한 기술적 토론이 활발하며, 특정 모델의 성능에 대한 긍정적인 평가가 이어짐.

방대한 결과 공유 감사함. 제대로 이해한 게 맞다면, 각 모델/설정당 100개의 SWE-bench_verified 작업을 반복 없이 테스트한 것 같음. 일반적인 큰 그림을 보기엔 충분하지만, heretic과 vanilla 버전, 혹은 BF16과 FP8 사이의 정확한 비교를 하기엔 부족함. 예를 들어, 동일한 Qwen3.6 27B BF16 FP8 모델을 SGLang에서 돌렸을 때, RTX 4090D 2개에서는 75개 작업을 해결했는데, RTX 6000 Pro에서는 69개만 해결함. 만약...

항상 똑같은 100개의 작업임. 확실히 설명하기 어려운 이상한 결과를 발견했네. 아마 GPU 아키텍처에 따른 엔진 커널의 실제 구현과 관련된 문제일 수도...

0이 아닌 temperature 때문에 동일한 100개 작업의 실행은 확률적임. 같은 모델, 엔진, 양자화로 똑같은 실행을 두 번 해도 결과가 다르게 나옴(운이 아주 좋으면 같을 수도 있음). 동일한 조건에서 100개 작업을 16번 실행하면 결과의 분산과 오차 범위를 더 잘 파악할 수 있음. 네가 알아차렸듯이, 거의 동일한 모델/설정으로 두 번 실행했을 때...

길이 제한으로 뒷부분이 생략된 댓글입니다 · 원문에서 전체 보기 →

몇 번은 정확히 재실행해 봤는데, 매번 같은 점수가 나오거나 1점 정도 차이가 났음. +6점 차이는 내 생각엔 말이 안 됨. 하지만 확실히 하기 위해 더 파봐야 할 듯.

네, 다시 돌려보기 부담 없는 걸로 시도해보면 될 듯. 예를 들어 Qwen 모델 하나를 싱글 GPU랑 멀티 GPU 환경에서 각각 돌려보는 거지. 충분히 반복해보면 점수가 똑같거나(혹은 구분 안 될 정도로) 비슷하게 나오거나, 아니면 RTX 6000 Pro가 유독 결과가 안 좋게 나온다는 징후를 발견할 수도 있겠지. 그럼 Blackwell 추론 코드 경로를 조사해볼 근거가 생기는 거고.

솔직히 Qwen 3.6 27B는 이번에 챔피언처럼 보였고, DSV4 Flash도 최고 사양의 소비자용 장비에서 돌릴 만큼 작다는 걸 감안하면 나쁘지 않음.

양자화 트레이드오프가 어떻게 나타났는지 궁금함. 작은 양자화 모델들이 경쟁력을 유지하는 스위트 스팟을 찾았음, 아니면 어려운 문제에서 그냥 박살 났음?

각 작업의 복잡성을 분석하진 않았지만, 종종 해결되었던 작업이 해결되지 않거나 반대의 경우가 나타나기도 함. 어느 쪽이든 1~2개 정도 차이임.

OpenRouter에서 호스팅하는 모델들이 GGUF 버전이랑 비교했을 때 상당히 성능 저하가 있는 것처럼 보이는 게 아주 흥미롭네. 이게 확인된 게 놀랍지는 않지만, 내가 한동안 의심했던 걸 입증해 주는 것 같아.

Openrouter 설정에 대해서는 솔직히 별로 신경 안 썼음. 필터를 다 꺼버려서 실행할 때마다 작업별로 제공자가 다를 수도 있고, 심지어 같은 작업 내에서도 턴마다 제공자가 다를 수도 있음… 그래도 이런 성능 저하는 최소한 우려스러운 수준임.

gemma-31b가 27b보다 훨씬 효율적인 줄은 몰랐네. 멍청한 'reasoning'은 딱 질색임. Deepseek v4 flash는 진짜 좋아 보이네.

Ornith 35B에 대해 한마디 하자면, 여기서 더 높은 35B 모델 결과값임. 아마도 Ornith-35B는 출력량이 훨씬 많음에도 불구하고 실사용에서 매우 경쟁력이 있는 듯. 27B 모델들은 서로 다른 파인튜닝이라기보다는, 엔진과 KV 캐시, 혹은 모델 양자화의 다양한 조합인 것 같음. DeepSeek V4 flash는 UD-Q3_K_XL이고. 여전히 원본 가중치가 아닌 3비트라는 점은 모델이 어느 정도 양자화를 견딘다는 걸 보여줌. 내 생각에 llama.cpp는 아직 제 성능의 50% 정도밖에 안 나오는 것 같음…

정확히 맞음. 내 컴퓨터에서는 ds4 inference engine이 flash를 거의 2배 더 빠르게 돌림.

원문r/LocalLLaMA