RTX Pro 6000에서 Ninfer로 Qwen 3.6 35b a3b 모델 돌리니 초당 600토큰 나오네. 컴캐스트 광고 중에 "stupid fast(미친 듯이 빠름)" 기억하는 사람?

그건 속도가 4분의 1밖에 안 되니까. Ninfer가 이런 속도를 내는 건 Tiny MoE 덕분이야. 내 메인 모델은 dsv4f고, 이건 다른 용도지. 그냥 유용한 모델을 얼마나 빨리 돌릴 수 있는지 보고 싶었을 뿐이야.

내가 뭘 잘못 설정한 건가? Ornith랑 Tiel 둘 다 써봤는데 결국엔 KAT Coder를 쓰게 되더라고. 내 경험상 Ornith랑 Tiel은 생각을 너무 많이 하는 경향이 있어. '아 잠시만, 사실은, 다시 생각해보자, 알겠어, 근데 잠깐만' 같은 루프에 내가 원하는 것보다 훨씬 자주 빠지거든. KAT가 더 똑똑하다는 건 아니지만, 덜 불안해해서 그런지 내 경험상 훨씬 일을 잘하는 것 같아.