커뮤니티 여러분, 이건 거의 모든 모델 출시 때마다 반복되는 주제인데, 모델 토크나이저나 추론 코드에 문제가 있는 건 거의 확정적임. 버그를 빨리 잡으려면 테스트를 도와야 하지만, 적어도 며칠 동안은 문제가 해결될 때까지 모델의 품질, 속도, 메모리 등에 대해 판단을 내리는 건 자제해야 함. 거의 모든 모델 출시가 이럼: 모델이 끔찍함 -> 버그 수정됨 -> 모델이 훌륭함!

버그 고쳐지기도 전에 모델 훌륭하다고 떠드는 사람들이 훨씬 더 최악임 😖

여기 '사기꾼'들 많음. 로컬에서 모델 쓰지도 않으면서 벤치마크만 보고 설레발치는 애들임.

그 사람들이 어떤 소프트웨어를 쓰는지, 무슨 목적으로 쓰는지 모르니까 그들의 주장이 여전히 정확할 수도 있지.

vllm이랑 좋은 장비 쓰는 사람들도 좀 알지. 그런 사람들은 절대 q8 밑으로는 안 내려감. 어쨌든 vllm은 네이티브 대신 transformers 라이브러리를 써서 실행할 수 있게 해주니까 버그 없이 대부분의 모델을 돌릴 수 있음.

Dense 모델은 컨텍스트 요구량이 엄청난 거 같은데? llama.cpp에서 수정 중인지 모르겠네. MoE 모델은 아주 잘 돌아감.

난 뭐든 다운로드해서 테스트하기 전에 7일 타이머 맞춰놓음.

llama.cpp 업데이트해야 함. 지금은 아주 잘 돌아감. RTX 3070에서 4b 모델로 60토큰 뽑는 중.

그래, 여기 있는 많은 사람들에겐 놀랄 일도 아니지. 결국 llama.cpp 문제였고(jacek2023 고마워), GGUF 버그 찾고 고치려고 삽질한 건 결국 다 쓸모없었음(뭐 유용한 거 하나 배우긴 했지만). 관심 있는 사람들을 위해 오늘 아침 내 이야기 좀 하자면. 셋업: Win11, RTX Pro 6000 96GB(Blackwell), LM Studio로 Gemma-4-31b-it Q4_K_M을 OpenCode랑 Qwen 코드 에이전트 하네스에 서빙함. 툴 콜링에 잘 작동하던 Qwen3.5-27b랑 비교 중이었는데 Gemma 4는...

길이 제한으로 뒷부분이 생략된 댓글입니다 · 원문에서 전체 보기 →

이제 다 머지됐음!

원문r/LocalLLaMA