제안: LLM 모델 설정 및 수정 사항 등을 위한 위키를 만듭시다

그런 거 비슷한 거.. 근데 유저들이 직접 수정할 수 있는 걸로

흠.. 하드웨어나 사용 사례에 따라 유효한 설정이 너무 많아서 말이지. 보통 HuggingFace 모델 카드에 gguf용 가이드나 설정이 이미 다 나와 있기도 하고, 더 구체적인 질문은 여기다 올리거나 그냥 구글이나 Claude 같은 데 물어봐도 돼.. 나도 최근에 그렇게 해서 OOM이랑 성능 문제 완벽하게 해결했거든. 아니면 네 로컬 LLM한테 직접 물어봐서 해결할 수도 있고;)

사람마다 하드웨어 사양이 제각각이라 이게 잘 될지 모르겠네. 세상 모든 플래그를 다 모아놔도 고려해야 할 변수가 너무 많거든.

그래도 다들 공통으로 쓰는 "글로벌"한 것들이 있잖아.. jinja 템플릿이나 최적 설정값, 우리끼리 하는 모델 리뷰 같은 거 등등

아마도.. 전담 팀을 꾸리지 않는 이상 힘들 듯.. 나 osxlatitude.com 창립자 중 한 명이라 그쪽 경험 좀 있음 :)

vLLM 레시피가 바로 여기 있음

https://recipes.vllm.ai/

이미 북마크 해둠.. :) .. 개쩌네