무대 위에 오른 llama.cpp

예전처럼 ollama가 아니라서 다행이네.

난 llama.cpp와 Georgi의 엄청난 팬임.

AI 기여 정책을 좀 완화해서 요즘 판치는 MOE 모델용 최신 최적화 기법들을 좀 따라갔으면 좋겠음. 정체불명의 프로젝트들보다는 차라리 llama.cpp를 돌리고 싶거든.

그리고 llama.cpp가 소위 'AI계의 리눅스'가 되려면, vLLM이나 SGLang이랑 제대로 경쟁하면서 배치 추론 성능을 강화하는 게 중요하다고 생각함.

물론 프로젝트의 현재 방향성과는 안 맞을 수도 있겠지만, 그래도 아쉬운 건 어쩔 수 없네.

종합적으로 볼 때, 에 대해 vibe coded 구현을 받아들이지 않은 건 아마 옳은 판단이라고 봄. 에 대한 논의를 읽어보면, 사람이 직접 드러내고 논의해야 할 트레이드오프가 있거든(슬프게도 거기 논의 대부분은 Claude스러운 것 같지만). 물론 난해한 모델 구현 같은 것들에 대해서는 LLM 기여를 좀 더 관대하게 받아들일 수도 있겠지만. 그래도 지금 가장 필요한 건 더 큰 규모의 팀이라고 생각함. 이 게시물 맥락에서 보면, 마이크로소프트는 최소한 오픈 소스 프로젝트 개발자들에게 돈을 지불하는 데 있어서는 괜찮은 전례가 있고, 지금 애플이 로컬 AI 쪽에서 자기들보다 훨씬 잘하고 있으니 이걸 우선순위로 두고 싶어 할 거라는 건 충분히 상상 가능함.

상황 끝났다: 이제 다 끝났어 형제들, 앞으로 재컴파일할 생각 마라. 아마 아무도 모르게 윈도우 스파이웨어가 깊숙이 심어져 있을걸.

AI가 PS5 펌웨어를 리버스 엔지니어링할 수 있는데, 레포지토리를 읽어서 윈도우 스파이웨어를 찾아내지 못할 거라고 생각하는 거야? ㅋㅋ