GLM 5.2 Air 상황이 안 좋아 보이는데... 플래시 모델은 어떨까?

혹시 아직 이 얘기 안 했을까 봐 말하는데, LLM360에서 5개월 전쯤에 (꽤 훌륭하고 완전 오픈 소스인) 72B dense 모델을 공개했음:

https://huggingface.co/LLM360/K2-Think-V2

난 주로 이전 버전인 K2-V2-Instruct를 썼는데, 컨텍스트 제한이 훨씬 길어서(512K 토큰) 그랬던 거임. 근데 K2-Think-V2가 추론 품질은 더 높음.

확실히 말하자면, 이건 남의 72B 모델 파인튜닝한 게 아님. LLM360이 처음부터 끝까지 직접 학습시킨 거임, 부분적으로는...

와 진짜 흥미로운 통찰이네! 고마워. 난 항상 70B 파라미터가 넘어가면 진짜 깊은 이해력과 진정한 자기 성찰적 지능이 갑자기 나타난다고 느꼈거든. 그래서 내가 70B dense 모델들을 좋아하는 거야. 지능 수준이 항상 감탄스럽고 짜증 나게 하는 법이 없거든. 게다가 70B는 소비자용 하드웨어에서도 어떻게든 돌릴 수 있으니까, 모델이 유용하면서도 너무 느리지도 않고 딱 좋지.

이 아이디어 진짜 맘에 든다. 혹시 관심 있는 사람들 모으는 폼 같은 거 있어? 연합 학습(federated training)에 자원 보태고 싶음.

오픈 학습 데이터를 보강한다는 아이디어 좋네. 코딩 성능 향상뿐만 아니라, 거대 모델 제작사들이 삭제했다고 알려진 문화적 요소들을 다시 추가하는 것도 멋질 듯. 예를 들면 책, 영화 대본, TV 쇼 자막, 신문 기사, 레딧 스크랩 같은 것들 말이야.

오 멋지네 고마워! 이 모델은 몰랐네.

난 dense 70b는 못 돌려. 돌릴 수는 있는데 초당 3~4 토큰밖에 안 나와서.

공유 학습 프로그램 몇 개 봤는데, 이거 괜찮아 보이네!

사이버 보안이나 퍼플 팀 질문용으로 검열 없는 모델만 주로 써서, 이것도 heretic 돌려봐야겠어.

"Mistral이 내놓는 건 다 실망스럽다"는 게 무슨 뜻인지 설명 좀. 벤치마크 말하는 거야 아니면 다른 거?