llama.cpp를 활용한 전문가 확장(Expert expansion)
Expert expansion with llama.cpp
핵심 요약
llama.cpp 기반의 MoE 모델 전문가 확장 구현을 공유했으나, 근거 부족과 AI 생성 코드에 대한 의구심으로 비판받음.
- 전문가 확장 구현 — MoE 모델을 위한 llama.cpp 커스텀 브랜치 공개함
- 근거 부족 논란 — 벤치마크나 구체적인 데이터 없이 주장만 앞세워 비판받음
- AI 코드 의존성 — Claude나 GLM 같은 AI 도구로 작성된 코드에 대한 회의적 시각
- 오픈소스의 미래 — 유지보수와 코드 품질 검증 방식에 대한 개발자들의 회의론
Glm 5.3 flash 도움을 받아서 MOE 모델의 Expert expansion을 지원하는 llama.cpp 커스텀 브랜치를 만들었어. 일단 metal에서만 테스트해 봤는데, 내가 만든 DS4 버전보다 훨씬 잘 돌아가네. 다른 플랫폼이나 다양한 모델에서 어떤지 피드백 좀 부탁할게.


