NEW BITNET MODELS!
BitNet 기반의 새로운 모델들이 공개되었으며, llama.cpp 지원을 기다리는 사용자의 기대가 큼.
Jan이 이 모델들을 지원하는 llamacpp 버전으로 업데이트하기만을 기다리고 있음! 빨리 테스트해보고 싶음!
https://huggingface.co/openbmb/BitCPM4-CANN-8B
https://huggingface.co/openbmb/BitCPM4-CANN-3B
https://huggingface.co/openbmb/BitCPM4-CANN-1B
새로운 BitNet 모델 출시에 대해 학습 확장성, 엔비디아 지원 여부, 그리고 저사양 유저를 위한 기술 발전 가능성에 대해 활발한 논의가 이루어지고 있음.
누가 계속 이거 연구하는 거 좋네. 언젠가 최적화된 bitnet 하드웨어도 나오길 바람.
나도.
이 저장소 모델들은 pseudo-quantized(가짜 양자화) 형식임. 즉, 가중치는 표준 부동소수점 형식으로 저장되고 학습 중에 ternary 값이 적용된 상태임. 일반 모델이랑 똑같이 로드해서 추론 가능함. 특별한 양자화 라이브러리나 커스텀 커널 필요 없음. 이거 실전에서 어떻게 돌아가는 거임? F16 가중치를 llama.cpp에 로드해서 돌릴 수 있는 거임?
작동은 하겠지만, Q1 수준 성능에 RAM은 훨씬 많이 먹지 않겠음? 실사용보다는 기술 데모에 가까울 듯.
이거랑 PrismML은 더 관심받아야 함. FP32에서 FP16으로, 이제 FP8/FP4로 가고 있는데, 진짜 대중화는 bitnet이 될 거임. 지금 AI 붐으로 주가랑 가격 다 오르는데, 일반 소비자도 bitnet 모델로 FP16이랑 똑같은 결과 얻게 되면 새로운 표준이 될 거임. 미래가 기대됨.
그건 학습이 확장 가능하고, 무시당하지 않을 정도로만 성능이 낮을 때나 가능한 얘기지.
"CAAN"은 화웨이 Ascend NPU용 소프트웨어임. 얘네가 ternary 모델 시도한 게 처음은 아니지만(이전에도 ternary QAT 해봄), 8B 모델을 처음부터 만든 건 이번이 처음일 수도 있음. PrismML의 Bonsai는 학습 방법이 공개 안 됐으니까. 확실한 건 기술 보고서 나와봐야 알 듯.
싸워라!
Bitnet 흥미롭긴 한데, 큰 모델일수록 일반 모델보다 학습하기 더 복잡하다는 기사를 읽었음.
그럴지도, 잘 모르겠음. 난 ternary 모델 개선이랑 llama.cpp가 진짜 ternary 모델을 지원하는 거 둘 다 기대 중임. 다른 모델들처럼 matmul만 하는 게 아니라, CPU 추론에서 진짜 이득 볼 수 있게 덧셈/뺄셈/무시 연산 지원하는 거 말이야.
참고로 "unquantized"라고 된 건 gguf로 변환(혹은 사용)하지 마셈. 일반 버전은 추론 아주 잘 됨. transformers, vllm, mlx, exllama에서 다 쓸 수 있음. 양자화해도 돌아가긴 하는데, 가장 효율적인 무손실 형태는 아님.
엔비디아에서 어떻게 학습이나 파인튜닝을 하는지 알려줄지 궁금하네.
흠. CAAN 라벨은 화웨이랑 같이 학습해서 붙은 축하용 라벨일 뿐일걸. 학습 과정이 독점적이라고 생각하진 않음, 곧 알게 되겠지. 'unquantized' 라벨은 추가 학습을 위한 체크포인트 업로드용인 듯.
GPU 없는 저사양 유저들을 위해서라도 잘 발전했으면 좋겠다 ㅋㅋ
어디서 본 건지 링크 좀.
사용자가 자신의 타이핑 속도를 측정해 LLM의 토큰 생성 속도(t/s)와 비교하는 웹 도구를 만들어 공유했습니다.
사용자가 자신의 타이핑 속도를 측정해 LLM의 토큰 생성 속도(t/s)와 비교하는 웹 도구를 만들어 공유했습니다.
작성자가 저혈당 쇼크로 의식을 잃어갈 때 ChatGPT가 음성으로 계속 말을 걸어 깨워준 경험담입니다.
작성자가 저혈당 쇼크로 의식을 잃어갈 때 ChatGPT가 음성으로 계속 말을 걸어 깨워준 경험담입니다.
AI 모델 Luna가 '강아지 살해'라는 윤리적 테스트에서 추론 과정 없이 도구를 즉각 실행해버린 현상을 다룬 글.
AI 모델 Luna가 '강아지 살해'라는 윤리적 테스트에서 추론 과정 없이 도구를 즉각 실행해버린 현상을 다룬 글.