이 서브레딧에 모델별 상세 정보를 담은 고정 게시물이 있으면 좋겠다고 오랫동안 생각해왔습니다.

나도 같은 생각이었어. '최고'는 사용 사례마다 너무 다르거든. 나한테는 거의 모든 모델에 vLLM이 최고의 엔진이지만, 모델마다 내가 선호하는 말투를 내는 엔진은 또 다를 거야(나는 Deepseek보다 GLM이 응답 방식 면에서 훨씬 낫다고 생각하는데, 반대로 말하는 사람도 많으니까). 그리고 양자화 방식도 사용하는 엔진에 따라 달라지고.

아이디어는 훌륭하지만, 이건 너무 개인적인 경험의 영역이야.

구식이 된다는 문제가 진짜 커. 여기는 정보가 너무 빨리 움직여서 고정 게시물은 금방 쓸모없는 소음이 될 뿐이야.

와, 이거 어렵네. 그냥 Gemini한테 물어봐야겠다...

서브레딧에 고정할 수 있는 게시물 최대 개수가 몇 개인지는 모르겠지만, 금방 다 찰 것 같은데 ㅋㅋ 올여름 2달 동안만 해도 모델이 얼마나 많이 나왔는지 생각해 봐.

난 고정 게시물 진짜 극혐함. 공간만 차지하고 쓸모없음. 그냥 사이드바에 두는 게 나음.

고정 게시물은 제일 쓰레기 같은 것 중 하나야.

이건 레딧이 딱히 적합한 플랫폼이 아니야. 모델마다, 하드웨어 설정마다, 명령어마다 필요한 PP(Perplexity)와 TG(Tokens per Generation) 같은 유용한 정보를 한 웹사이트에 모아두면 좋겠지만, 그런 데이터를 공유하는 웹사이트를 찾아가서 정보를 올릴 사람은 거의 없어. 만약 하니스에 그런 기능을 내장하면, 다들 텔레메트리로 정보를 훔쳐 간다고 불평만 할걸.

근데 뭐, 네가 사이트랑 API를 만들고 인기 있는 하니스마다 플러그인을 만들어서 실제 사용 몇 번 만에 정보를 자동으로 채우게 한다면... 아무도 그 플러그인을 다운로드 안 하겠지, 하하. 양질의 정보를 공유하기엔 현실적인 장벽이 너무 많아.

네가 말하는 최소 사양이 내 기준이랑은 다를걸(구체적으로는 잘 모르겠지만, 일반적인 경우로 봐도 이게 문제야).

예를 들어, 여기엔 토큰 맥싱(tokenmaxxing)하는 글이 끝도 없이 올라오잖아. 'Pi 4에서 400t/s 찍었어요!' 같은 거. 파고들어 보면 거의 예외 없이 2K 컨텍스트에 q4 KV 양자화, 4개의 PR을 엉망으로 섞어놓은 상태고, 가끔은 출력으로 라틴어를 랜덤하게 내뱉기도 하지.

나한테는 이게 아무 쓸모가 없어. 나는 실제로 모델로 코딩 같은 걸 해야 하고, 긴 컨텍스트, KV 양자화 없음, 도구 사용 시 높은/완벽한 재현성이 필요하거든. 그게 내 최소 사양이야.

또한 그런 목록은, 설령 네가 어떤 최소 사양을 추적할지 정의하고 강제한다 해도, 거의 매일 구식이 될 정도로 빨리 변할 거야. 모델이 새로 나올 때마다 이상적이지 않은 하드웨어에서 돌리는 방법이 몇 가지씩 나오는데, 그런 건 금방 바뀌거나 사라지고 새로운 게 금방 튀어나오거든.

그렇긴 해도 네가 겪는 문제는 이해해. 지금으로선 전반적으로 통용되는 표준화된 측정 방식이 없으니까.

동의함. 설정 관련 팁도 있으면 좋을 듯... 우분투에서 Claude를 통해 확인해보니 OS가 내 Strix에서 VRAM 16GB를 점유하고 있더라.

설정 관련 팁들 말이야.

NPU도 좀 활용해보려고 하는데 아직 별다른 정보를 못 찾았음. (큰 모델은 CPU로 돌리고, 다른 작은 작업들은 NPU로 돌리는 식으로...)

우선, 이 취미를 시작하는 게 벅차다는 네 의견에 동의해:

1. 상황이 말도 안 되게 빨리 돌아감. 모델은 (느려도) 매주 나오고, 파인튜닝이랑 양자화는 더 자주 나옴.

2. '단 하나'의 정답이 없음. 모든 게 조정할 파라미터가 너무 많고, 트레이드오프를 얼마나 수용할지는 사람마다 다름. KV 길이, KV 정밀도, 모델 가중치 정밀도, 양자화, 엔진, 하드웨어... 이 모든 게 서로 다른 추천으로 이어짐.

3. 소프트웨어도 마찬가지임. 추론 엔진이든 하네스든, '최고'는 네 하드웨어, 사용 방식, 기대치에 따라 크게 달라짐.

각각이 미친 속도로 변하고 있어서, 추론 엔진, 하네스, 모델 목록을 반쯤이라도 업데이트된 상태로 유지하는 건 엄청난 작업이 될 거야.

네 질문으로 돌아가서: DS 4.1 Flash는 510GB가 필요해. 8x v100(각 32GB라고 가정)은 256GB지. 2x gb10(210GB+KV 캐시)에 들어가는 2.9비트 EXL3 양자화 버전을 찾을 수는 있어. 기본적으로 exllamav3는 sm70(v100)을 지원하지 않아. 내가 v100 지원을 추가하는 PR을 제출하긴 했는데, DS4.1에서는 작동 안 할 수도 있어(Qwen이랑 DS4 Flash로 테스트함). 들어갈 만한 Q2나 Q3 GGUF를 찾을 수도 있고, llama.cpp는 v100에서 돌아갈 거야.

개인적으로는 2.9bpw를 쓸 것 같진 않지만, 그건 네가 결정할 문제지. 나는 쉽게 들어갈 GLM5.3F를 추천해. https://github.com/1CatAI/1Cat-vLLM 을 쓰면 nvfp4도 아주 잘 돌아갈 거야.

그러니까 네 좌절감은 이해하지만, 그런 목록을 만들 아주 유능한 AI를 배치하지 않는 이상 어떻게 해결할지 잘 모르겠네. 그래도 질문을 올리면 보통 답을 얻을 수 있을 거야. 이 서브레딧은 꽤 도움이 되거든.