AA comparison of the latest local models
3x3090 환경에서 구동 가능한 로컬 모델들의 성능 비교 및 Qwen 35B MoE와 27B 모델 간의 효율성 논쟁.
3x3090 환경에서 사용 가능한 로컬 모델들을 선정해서 비교해 봤음. 그래서 300B 모델은 없고, 200B 모델도 아마 건너뛰는 게 좋을 거임 (하지만 MiniMax랑 Step은 Q3에서 꽤 빠름).
Gemma-4 12B는 아직 빠져 있음.
로컬 모델의 성능과 속도, 특히 Qwen 35B MoE와 27B 모델 간의 코딩 능력 및 효율성을 두고 사용자들 사이에서 열띤 논쟁이 벌어지고 있습니다.
시행착오를 통해 다들 알게 됐듯이, Qwen 35B MoE를 출력 품질 저하 없이 덜 생각하게 만들 수만 있다면, 현재 우리가 가진 모델 중 크기/속도 대비 최고임. 이 차트에서 유일하게 아쉬운 점은 어떤 모델 양자화 버전을 사용했는지 안 나와 있다는 거임.
그게 모든 벤치마크의 문제지. 아마 항상 비양자화 모델을 쓸 테니까 우리 로컬 환경에서의 경험은 다를 수밖에 없음 (여기서 다양한 양자화 버전에 대한 벤치마크를 올리는 사람들도 있는데, 더 많이 필요함).
전혀 동의 못 함. 35B MoE는 27B 모델이 해결하는 방식처럼 어려운 문제를 처리할 수 없음.
내 생각엔 35B가 27B와 거의 같은 문제를 다룰 순 있지만, 그 해결책이 오히려 문제를 더 만드는 느낌임 (예: 쓰레기 같은 아키텍처, 유지보수 불가능한 코드, 빌드 프로세스 망가뜨리기 등).
왜 그렇게 작은 LLM을 아키텍처 설계에 신뢰하는지 모르겠음. 난 ChatGPT로 앱 백엔드 설계해 봤는데, 일부 측면을 너무 복잡하게 만들더라고.
무슨 말인지 알겠음. 나도 전체 아키텍처를 짜려고 작은 LLM을 쓰진 않음. 내가 말한 건 '지금 X 기능 추가해' 같은 간단한 상황에서 35B가 기존 패턴이나 코드 구조를 잘 못 지킨다는 거임. 반면 27B는 코드베이스 구성을 잘 파악해서 더 적합한 기능을 추가할 수 있음.
MoE는 본질적으로, 수학적으로 항상 더 높은 엔트로피와 혼란스러운 출력을 만들어냄. 어떤 전문가를 선택할지에 대한 결정마다 의사결정 나무에서 다른 경로를 선택하게 되고, 고차원 공간에서 출력 집합이 이동하는 경로를 크게 바꿔버림. 이렇게 생각하면 됨. 특정 시점의 출력은 이전 토큰들에 의해 강하게 조종되지만, 그 위에 MoE 아키텍처 특유의 브라운 운동 같은 효과가 얹히는 거지. 아이러니하게도 MoE-of-MoEs도 존재하지만 (실험적이고)
Cline이랑 35B 조합으로 쓰고 있는데, 진짜 미친 수준임. 16GB VRAM만으로 로컬 모델을 돌려서 실제 코딩에 쓸 수 있을 줄은 몰랐음.
난 10GB VRAM 쓰는데 결과 아주 훌륭함.
'크기/속도 대비 모델'이지 품질 대비가 아님. 27B를 돌릴 수 있다 쳐도 속도 때문에 나한텐 쓸모가 없음. 더 말하자면, 밀집형 27B 모델한테 코딩을 시키는 것 자체가 무리임. 무료 API로 쓰는 큰 모델들이 훨씬 더 잘하고 훨씬 빠름 (그것들도 코딩용으론 바닥권이지만). 모델이 할 수 있는 모든 작업이 프로덕션 수준의 좋은 코드를 짜야 하는 건 아님.
5~30tok/s 속도로 실제로 유용한 사례를 본 적이 없음. 야동 보는 거 빼고. 그리고 네 하드웨어로 35B를 30tok/s 넘게 돌릴 수 있다면 27B는 충분히 쓸만한 속도로 돌아갈 텐데.
ㅋㅋㅋ 느려 터진 27B로 코드베이스 요약해달라고 시켜보시지 그래. 웹 페이지 4개랑 CSS 1개 짜려고 모델 쓰는 거임?
VRAM 32GB 이상 쓰시는 냄새가 나는데.
5090을 가지고도 여전히 GPU 빈곤층이라는 사실이, 내가 부자보다는 노숙자에 가깝다는 걸 매일 상기시켜줌.
35B는 뭘 해야 할지 일일이 말해줘야 하지만, 어쨌든 '할 수는' 있음. 다른 많은 모델들은 그게 안 됨. 27B는 단계별 지시가 없어도 처리할 수 있긴 하지.
사용자가 자신의 타이핑 속도를 측정해 LLM의 토큰 생성 속도(t/s)와 비교하는 웹 도구를 만들어 공유했습니다.
사용자가 자신의 타이핑 속도를 측정해 LLM의 토큰 생성 속도(t/s)와 비교하는 웹 도구를 만들어 공유했습니다.
작성자가 저혈당 쇼크로 의식을 잃어갈 때 ChatGPT가 음성으로 계속 말을 걸어 깨워준 경험담입니다.
작성자가 저혈당 쇼크로 의식을 잃어갈 때 ChatGPT가 음성으로 계속 말을 걸어 깨워준 경험담입니다.
Anthropic의 모델이 그동안 과도하게 사용하던 em dash(—)를 줄이는 등 세밀한 개선을 이뤄낸 것에 대한 사용자들의 긍정적인 반응입니다.
Anthropic의 모델이 그동안 과도하게 사용하던 em dash(—)를 줄이는 등 세밀한 개선을 이뤄낸 것에 대한 사용자들의 긍정적인 반응입니다.