Qwen3.8-27B is identical to Qwen3.6-27B!
Qwen3.8-27B 모델이 이전 버전과 아키텍처가 동일하며, 성능 향상은 전적으로 학습 개선 덕분이라는 사실이 밝혀졌습니다.
흥미롭게도 3.8 버전은 아키텍처가 완전히 똑같음. 즉, 성능 향상은 전부 학습 개선에서 왔다는 소리임!
변경 사항(0개)은 여기서 확인 가능!
사용자들은 Qwen3.8의 업데이트 방식에 주목하며, 향후 LoRA 스와핑 기술이 로컬 AI 활용도를 획기적으로 높여줄 것이라는 기대감을 보이고 있습니다.
학습 데이터는 언제나 품질을 결정하는 가장 큰 레버였지.
성능 향상은 RL 환경 + On-policy Distillation 덕분일 거라고 추측함.
특히 MOPD는 엄청나게 강력함
그리고 OPSD
맞아. K2-V2 모델들이 그걸 잘 보여주지. 평범한 llama3 아키텍처를 쓰는데도 증강 데이터로 처음부터 다시 학습해서 엄청 똑똑하거든.
근데 지식 컷오프는 여전히 2024년이네...
더 좋은 학습 데이터가 곧 새로운 지식을 의미하진 않음. 코딩 성능 측면에서 필요한 건 코딩 에이전트 세션의 고품질 트레이스뿐임. 그게 모델을 개선하긴 하겠지만 새로운 "지식"을 제공하진 않음 - 컷오프는 여전히 2024년임. 솔직히 작은 모델한테 사실 정보를 얻어야 한다면, 그냥 웹 검색을 시키는 게 나음. 모델 지식에 의존할 필요 없음.
난 LM Studio에서 searxng MCP를 씀. Hermes 같은 거 쓸 땐 신뢰할 수 있는 도구라면 뭐든 사용함. 필요하면 최신 정보 찾으라고 프롬프트를 넣고.
같은 계열 모델들은 다 똑같은 데이터셋으로 똑같은 컷오프를 가지고 학습된다고 봄. 이후의 개선은 포스트 트레이닝이나 RL 같은 데서 오는 거지, 모델의 지식 자체를 바꾸는 건 아님.
흥미롭게도 3.8 버전은 아키텍처가 완전히 동일함. 즉, 성능 향상은 전부 학습 개선에서 왔다는 뜻이지! 여기 diff(변경 사항 0)를 확인해 봐! https://hfviewer.com/compare/qwen3.6-27b-vs-qwen3.8-27b
그래, 이건 처음부터 새로 학습시킨 모델이라기보다는 "업데이트"에 가깝지.
곧 hot LoRA 스와핑이 대세가 돼서 특정 작업의 정확도를 높이고 로컬 AI를 새로운 차원으로 끌어올릴 것 같아
항상 궁금했던 건데... 이미 디퓨전 모델에서는 특정 스타일의 이미지를 생성하려고 LoRA를 로드해서 쓰잖아. LLM 버전도 있지 않을까? SAP, CRM, McKinsey 같은 특정 LoRA를 로드해서 AI가 그 LoRA에 최대한 가깝게 생성하게 만들 수 있다면 어떨까? 진짜 대박일 듯
내가 알기로 LoRA는 원래 텍스트 모델용으로 설계됐어. 맞아, 사람들은 예전부터 LLM용 커스텀 어댑터를 학습시켜 왔지. Unsloth도 원래 LoRA 프로젝트로 시작했어
내가 알기로는 커뮤니티의 "파인튜닝" 모델 대부분(전부 다는 아니더라도)은 그냥 LoRA를 베이스 모델에 합친 것뿐이야.
사람들이 그냥 LoRA 자체를 공개해서 Stable Diffusion 모델처럼 로드해서 쓸 수 있게 해주면 좋겠어
이런 일은 꽤 전부터 있었는데, 몇 년 전 문헌들 보면 LoRA가 잘 만든 프롬프트랑 같은 품질을 낸다는 내용이 있었던 걸로 기억함. 어댑터는 여러 개 쌓으면 품질 저하가 온다는 단점이 있긴 한데, control vector 같은 것도 또 다른 PEFT 기술이었지. 요즘은 판도가 너무 빨리 바뀌어서 뭐가 어디서 먹히는지 따라가기도 힘들다 ㅋㅋ
사용자가 자신의 타이핑 속도를 측정해 LLM의 토큰 생성 속도(t/s)와 비교하는 웹 도구를 만들어 공유했습니다.
사용자가 자신의 타이핑 속도를 측정해 LLM의 토큰 생성 속도(t/s)와 비교하는 웹 도구를 만들어 공유했습니다.
Google이 예고 없이 AI Plus 요금제에서 Pro 모델 접근 권한을 제거하여 사용자들의 불만이 폭주하고 있습니다.
Google이 예고 없이 AI Plus 요금제에서 Pro 모델 접근 권한을 제거하여 사용자들의 불만이 폭주하고 있습니다.
