moondream3.1-9B-A2B

깔끔하긴 한데, 내가 알기로는 kestrel source code에 실제 커널이 포함된 게 아니라 그냥 내가 위에 링크한 pypi에서 바이너리를 가져다 쓰는 거거든... 아니라는 거 보여주면 기쁘게 받아들이겠음. (즉, 그냥 필요할 때마다 from kestrel_kernels import get_runtime _KERNELS = get_runtime() 이렇게 호출하고 pypi에서 바이너리 전용 휠만 가져오는 거임)

직접 해보진 않았는데, 내가 알기로는 vLLM에서 지원할 거임. https://github.com/vllm-project/vllm/pull/32325

커스텀 라이선스가 좀 이상함. 개인용 추론에는 좋지만, 라이선스 구매 없이는 소규모 사무실 환경에서도 배포가 안 됨. 특정 도메인 앱에서 모델을 직접 노출하지 않는 경우를 제외하면 말이지. 그래서 다중 사용자용 Open WebUI 서버 인스턴스에서 모델 선택지로 넣을 수가 없음. OpenRouter에서도 못 볼 것 같고. MCP가 우회로가 될 수 있을지 궁금하네.

사내에서 내부적으로 서빙하는 건 가능함. Elastic 라이선스의 변형인데, 클라우드 제공업체들이 우리랑 수익 공유 없이 모델을 호스팅하는 걸 막으려는 의도임.

추론에 필요한 커널은 어디 있음? (힌트: 거기 없음)

그거 오픈소스 PyTorch 커널 사용하는 거 아님?

실행에 필요한 건 전부 다 있고, Apache 2.0 라이선스임. 전체 모델링 코드, CUDA 그래프 포워드 패스 등등 다 포함돼 있음.

모델 돌리려고 굳이 우리 독점 커널을 쓸 필요는 없음.

내 실수네, 자세히 안 봤음.