Mixture-of-LoRA 기술을 적용한 749B 규모의 GLM5.1 파인튜닝 모델이 공개되었습니다.
Macaron-V1-Preview의 기술적 구조에 대한 분석과 함께, 이를 직접 테스트해보려는 사용자들의 관심이 이어지고 있음.
와, GLM5.1 파인튜닝 모델인데 꽤 괜찮아 보이네. 벤치마크 점수만 뻥튀기한 게 아니길 바람. 근데 749B라니... 세상에.
"Mixture-of-LoRA"라니 이게 무슨 소리야. 그러니까 라우터가 작업마다 LoRA를 골라 쓴다는 거네... 흐음.
혹시 Anthropic이 내부적으로 Claude에 쓰는 방식이 이런 거 아닐까?
Claude 4 시리즈 나올 때 그런 의심이 좀 있었지. cc랑 claude.ai에서 동작 방식이 너무 달랐거든. 근데 Anthropic은 그냥 같은 모델인데 프롬프트만 다른 거라고 딱 잘라 말했었어.
5개의 전문가 모델: 기본 채팅 및 범용 목적의 L0, 개인 생활 작업용 L1, 코딩 작업용 L2, A2UI용 L3, 그리고 OpenClaw Harness에 최적화된 OpenClaw 스타일 작업용 L4.
글쎄, 잘 모르겠네. 직접 테스트해 봐야 알 듯.
그럼 L2만 추출해서 glm-5.1-air-coder로 만들 수 있는 거 아님?
그건 'air' 모델이 아니라 그냥 glm-5.1-coder가 되겠지. 잘못 이해한 것 같은데, LoRA는 모델 전체에 적용되는 거야 ;)
흥미롭긴 한데, 전용 하네스가 꼭 필요하다는 게 큰 단점이네: https://github.com/MindLab-Research/Mixture-of-LoRA-Harness
맞아, LoRA 어댑터 때문에 그런 거지.
개인적으로는 꽤 중요한 지점이라고 봐. 단순히 학습하는 걸 넘어서 실제 성능 향상을 이끌어낼 수 있는 하네스를 갖춘 파인튜닝 모델이라니. 이게 소형 모델들에도 영감을 줄 수 있다면 좋겠어. Qwen 3.6 36a3b/27b에 비슷한 솔루션을 테스트해 보고 싶어질 정도네. 이미 문맥 레시피 로딩을 생각 중이었는데, 이걸 Mixture-of-LoRA랑 섞으면 (아주?) 좋은 결과가 나올지도 모르지.
컴퓨팅 자원이랑 시간 있으면 한번 해봐.
클라우드에 있는 H100/H200이면 LoRA 몇 개 배포하기엔 충분할 듯. 이번 달에 OVH 크레딧 좀 살 여유 되면 확인해 봐야지.
OVH가 뭐야? 행운을 빈다.
분류학적으로 이건 'Clown-car Mixture-of-LoRA'인 것 같네. 5개 LoRA의 오버헤드가 꽤 작아서, 학습된 게이트로 다 때려 넣을 수 있을지 궁금함.
4. 이번 프리뷰의 정체와 향후 계획. Macaron-V1-Preview는 말 그대로 프리뷰임. 아키텍처가 어느 정도 자리를 잡아서 외부 피드백을 받는 게 가장 중요하다고 판단해 지금 공개하는 거임. LivingBench 루프는 실제 사용자들이 많이 써볼수록 더 풍성해질 거임. V1 정식 출시 전까지 세 가지가 바뀔 예정임. - 플래그십 744B + 5 × 1B는 프리뷰 기간 동안 수집된 피드백을 바탕으로 계속 반복 개선될 예정. - 두 개의 오픈 소스 변형...
미국 기업들이 비용 절감과 데이터 보안을 이유로 비싼 프론티어 AI 모델 대신 오픈 소스 모델로 눈을 돌리고 있음.
미국 기업들이 비용 절감과 데이터 보안을 이유로 비싼 프론티어 AI 모델 대신 오픈 소스 모델로 눈을 돌리고 있음.
일론 머스크가 공유한 AI 모델 순위표에서 Gemini가 하위권으로 평가받자 커뮤니티에서 논쟁이 벌어짐.
일론 머스크가 공유한 AI 모델 순위표에서 Gemini가 하위권으로 평가받자 커뮤니티에서 논쟁이 벌어짐.
Opus 5.5를 사용해 14만 줄 이상의 코드를 삭제한 스크린샷에 대해 사용자들은 구체적인 설명이 없다며 회의적인 반응을 보임.
Opus 5.5를 사용해 14만 줄 이상의 코드를 삭제한 스크린샷에 대해 사용자들은 구체적인 설명이 없다며 회의적인 반응을 보임.