Ornith1.5 35B A3B의 MTP 헤드 수정함. TPS 3% 증가, 작업 시간 33% 단축
Fixed the MTP head on Ornith1.5 35B A3B. +3% TPS -33% wall clock
핵심 요약
Ornith1.5 35B 모델의 MTP 헤드를 수정하여 토큰 속도 대비 실제 작업 완료 시간을 33% 단축함.
- MTP 헤드 수정 — 훈련되지 않은 MTP 헤드를 교체하여 모델 성능과 작업 효율을 크게 개선함.
- 작업 시간 단축 — 토큰당 속도(TPS)는 소폭 상승했으나 실제 작업 완료 시간은 33% 단축됨.
- HAM 라디오 활용 — 로컬 모델을 사용하여 무선 장비를 제어하며 검열 없는 자유로운 사용이 가능함.
- 성능 최적화 — APEX 양자화 모델에 훈련된 MTP 헤드를 결합하여 최상의 효율을 끌어냄.
Ornith 35B 로컬 모델 진짜 개쩌는 듯. 1.0 버전으로 내 HAM 무전기 장비 돌리고 있었거든. hackRF 수신기랑 5와트짜리 quansheng 휴대용 무전기 쓰는데 둘 다 PC에 연결해서 헤드리스로 돌리는 중임. 이번에 새로 나온 Ornith 1.5 빌드 써봤는데 1.0보다 훨씬 빠르고 정확하더라.
학습 안 된 MTP 헤드 관련 글들 읽어보고 나서, 내가 못 쓰는 양자화 모델에서 학습된 MTP 헤드 가져다가 Ornith 1.5의 APEX 리퀀트 버전에 이식해버림. 그랬더니 Ornith 1.0보다 2.5배 빠르고, 정식 출시된 Ornith 1.5보다도 33% 더 빠른 괴물이 탄생했다. 이 모델 성능이랑 똑같은 작업 처리하는 속도 보고 진짜 기절하는 줄 알았음.
게다가 허가된 주파수에서 마이크 키(key up) 하라고 시켜도 훈수질 안 해서 존나 좋음.
웃긴 건 토큰/초(t/s)는 평균 60에서 64로 딱 4밖에 안 올랐다는 거임. 근데 내 무전기 고문 테스트 돌려보니까 작업 완료 시간은 평균 21초에서 14초로 3분의 1이나 줄어듦.
https://ollama.com/slickwillies/ornith15-35b-a3b-apex-mtp-fixed
테스트 방법론 및 결과:
https://github.com/h00nigan/Ornith-testing-results
