모든 GPU를 찾습니다: llama.cpp보다 디코딩 성능이 뛰어난 컴파일러 기반 AI 런타임 'SonicBoom v0.0.3' 벤치마크에 참여해주세요
Calling all GPUs: help us benchmark SonicBoom v0.0.3 — a compiler-first AI runtime that beats llama.cpp on decode
핵심 요약
파이썬 없이 구동되는 오픈소스 AI 런타임 SonicBoom이 벤치마크 참여자를 모집합니다.
- SonicBoom 런타임 — 파이썬 의존성을 제거한 C ABI 및 Guile Scheme 기반의 오픈소스 추론 엔진임
- 벤치마크 성능 — RTX 3050 환경에서 llama.cpp 대비 디코딩 속도 향상을 입증함
- 기술적 특징 — MLIR 기반의 Boom IR을 활용한 그래프 최적화 및 커널 생성 방식을 채택함
- 참여 요청 — NVIDIA GPU 사용자를 대상으로 벤치마크 결과를 수집하여 README에 기재할 예정임
안녕 얘들아!
우리는 올드스쿨 자유 소프트웨어 커뮤니티인 HardenedLinux야. SonicBoom은 우리가 만든 오픈소스(GPLv3) 추론 런타임인데, 기존의 파이썬 스택을 대체하는 컴파일러 중심의 대안이지. 빌드할 때나 실행할 때 파이썬은 아예 안 써. 공유 라이브러리 하나, C ABI, 그리고 일급 언어로 Guile Scheme을 사용해.
데스크톱 RTX 3050 8GB 환경에서 v0.0.3이 보여주는 성능이야(같은 세션, 같은 GGUF, llama.cpp -ngl 99와 비교):
| model | decode (tg64) | prefill (pp512) |
|---|---|---|
| Gemma 4 E4B Q3_K_M | 1.18× | 1.00× |
| Qwen2.5-0.5B Q4_K_M | 1.12× | 1.09× |
실제 멀티턴 에이전트 작업에서 첫 토큰 생성 시간(time-to-first-token)이 v0.0.2 대비 몇 배나 빨라졌어(프리픽스 재사용 + 플랜 캐싱 덕분). 출력 토큰은 우리가 검증한 골든 런(golden runs)과 비트 단위로 완전히 일치하고, 프리픽스 재사용도 전체 프리필(full prefill)과 비트 단위로 똑같아.
어떻게 했냐고? 모든 그래프 최적화와 커널 생성은 MLIR 방언인 Boom IR에서 처리하고, 핫한 양자화 행렬 곱셈(matmuls)은 ggml에서 파생된 속성 커널로 돌아가. 모든 최적화에는 스위치랑 제거 실험(ablation) 수치가 달려 있어서, 각각이 얼마나 성능을 뽑아내는지 바로 확인할 수 있어.
솔직히 부족한 점도 말할게. Qwen 디코드 512 깊이에서 0.98배 수준이고, GPU도 딱 하나밖에 없어. 그래서 너희들의 도움이 절실해.
초대장이야: 릴리즈마다 벤치마크 이슈를 하나씩 열고 있어. NVIDIA GPU(어떤 세대든 상관없음 — 특히 Ada, Hopper, Blackwell 환영)가 있다면, 명령어 한 줄로 바로 붙여넣기 가능한 리포트를 뽑을 수 있어. 결과가 게시된 모든 사람의 이름은 README에 크레딧으로 남길게.
→ v0.0.3 벤치마크 이슈: https://github.com/hardenedlinux/SonicBoom/issues/2
결과나 문제는 여기 말고 이슈 페이지에 올려줘. 그래야 한곳에서 깔끔하게 관리되니까.
