r/LocalLLaMA•약 2개월 전•123•45

GitHub - sqliteai/waste: NVMe에서 활성화된 가중치를 직접 스트리밍하여 가용 RAM을 초과하는 2.78조 파라미터 Kimi K3 모델 실행하기. 의존성 없는 임베디드 C 추론 엔진.

GitHub - sqliteai/waste: Run the full 2.78-trillion-parameter Kimi K3 model beyond available RAM by streaming activated weights directly from NVMe. A dependency-free, embeddable C inference engine.

핵심 요약

NVMe 스트리밍을 통해 RAM 용량을 초과하는 대규모 모델을 실행할 수 있는 C 기반 임베디드 추론 엔진 'WASTE' 소개.

WASTE 엔진 — 의존성 없는 C 기반의 임베디드 추론 엔진임.
NVMe 스트리밍 — 가용 RAM을 초과하는 대규모 모델 가중치를 디스크에서 직접 읽어옴.
Kimi K3 지원 — 2.78조 파라미터 모델을 제한된 RAM 환경에서 실행 가능함.
캐시 최적화 — 남은 RAM을 활성화된 가중치 캐시로 활용함.

github.com

원문 사이트로 이동

WASTE는 외부 런타임 의존성이 없는 C로 작성된 임베디드 추론 엔진입니다. 모델의 핵심 부분은 메모리에 유지하고, 선택된 전문가(expert) 가중치는 디스크에서 직접 스트리밍하며, 남은 RAM은 제한된 전문가 캐시로 사용합니다.

원문

커뮤니티 목록

r/LocalLLaMA•약 2개월 전•123•45

GitHub - sqliteai/waste: NVMe에서 활성화된 가중치를 직접 스트리밍하여 가용 RAM을 초과하는 2.78조 파라미터 Kimi K3 모델 실행하기. 의존성 없는 임베디드 C 추론 엔진.

GitHub - sqliteai/waste: Run the full 2.78-trillion-parameter Kimi K3 model beyond available RAM by streaming activated weights directly from NVMe. A dependency-free, embeddable C inference engine.

핵심 요약

NVMe 스트리밍을 통해 RAM 용량을 초과하는 대규모 모델을 실행할 수 있는 C 기반 임베디드 추론 엔진 'WASTE' 소개.

WASTE 엔진 — 의존성 없는 C 기반의 임베디드 추론 엔진임.
NVMe 스트리밍 — 가용 RAM을 초과하는 대규모 모델 가중치를 디스크에서 직접 읽어옴.
Kimi K3 지원 — 2.78조 파라미터 모델을 제한된 RAM 환경에서 실행 가능함.
캐시 최적화 — 남은 RAM을 활성화된 가중치 캐시로 활용함.

github.com

원문 사이트로 이동

주요 댓글

r/localllama

llama.cpp로도 유사한 구현이 가능하다는 의견과 함께, 해당 프로젝트의 유용성을 확인해 보려는 커뮤니티의 반응이 주를 이룸.

이제 다들 '바이브코딩'으로 새 엔진 하나씩 만드는 수준까지 왔네. 멋지긴 한데 벌써 오늘만 세 번째 '새 엔진' 포스트임. 이런 프로젝트들을 모아서 고정 게시물 하나 만들고, 거기 댓글로 엔진 기능이랑 지원 환경(모델+하드웨어) 공유하게 하면 비슷한 환경 쓰는 사람들한테 훨씬 찾기 편할 듯.

특히 FOSS 판에서는 다른 사람들이랑 조율하는 것보다 그냥 처음부터 새로 만드는 게 훨씬 쉽고 힘도 덜 들어 😅.

나도 예외는 아님, 비난하려는 건 아니고. 내 깃허브도 기존 솔루션 지원하는 대신 새로 만든 프로젝트들로 도배되어 있음... 왜냐면 기존 거 지원하는 건 시간도 엄청 들고 힘들거든, 난 게으른 놈이라 하하.

진짜 맹세하는데, 요즘은 개나 소나 다 C로 추론 엔진 짜고 있네. 요즘 애들은 Rust 쓴다던가 C++은 다 어디 갔냐? 왜 맨날 C야? 이거 몇 달 전에 다들 자기만의 감성으로 만든 TUI랑 WebUI 똥글 올리던 거 생각나네.

-1

헤헤, 나도 마찬가지임. 근데 Karpathy가 이 레포에 스타 찍어줬길래 여기 올려본 거임.

GPU(아니면 최소한 NPU?) 가속 쓰는 거 바이브코딩하는 사람 있으면 알려줘.

아니. 이거 관련해서 저번 달에도 똑같은 댓글 달았음. 매달 이런 똥글이 올라오고, 또 SSD 수명 걱정하는 사람들이랑 읽기는 괜찮다고 하는 사람들이 똑같이 싸우고 있네.

Karpathy가 올려도 똑같은 반응일 거임.

이 정도면 나도 레딧 클라이언트 하나 바이브코딩해야 할 판임. 레딧이 자꾸 이런 글을 메인에 띄우는 게 웃기네. 안 되면 그냥 이 서브레딧 탈퇴해야지.

이게 왜 새로운 거임? llama cpp로도 똑같이 할 수 있지 않나?

ㅇㅇ 나도 해봄. turbo-fieldflare 레포(nvme에서 전문가 모델 스트리밍하고 코어랑 kv 캐시만 메모리에 올리는 거) 보고 나서 Jetson orin nano(이것도 통합 메모리임)용으로 llamacpp에 비슷한 아이디어 적용해 봤는데... 잘 돌아감. 이제 다양한 MoE 모델 돌릴 수 있음. 엄청 느리긴 한데 어쨌든 돌아감 ㅋㅋ

이거 NVMe 수명에 영향 줌?

원문r/LocalLLaMA