생산 환경에서 서구권 연구소의 오픈 모델만 사용해야 하는 분들, 어떤 모델을 배포하고 계신가요?
For those of you forced to only use open models from Western labs in production, what are you deploying?
핵심 요약
중국산 모델 사용이 금지된 환경에서 120B급 이상의 고성능 서구권 오픈 모델을 찾는 사용자의 고민과 추천 요청.
- 배포 제약 — 중국산 모델 사용이 금지된 환경에서 대안 모델 탐색함.
- 성능 격차 — 120B급 이상 모델에서 서구권 모델과 중국 모델 간의 성능 차이가 존재함.
- 추천 모델 — Thinking Machines Inkling Small, Cohere Command A+ 등이 후보로 거론됨.
- 보안 우려 — 기업 내 중국산 모델 사용 금지는 주로 보안 및 공급망 공격에 대한 우려 때문임.
일단 GLM, Qwen, DeepSeek가 현재 오픈 소스 SOTA 모델들 씹어먹고 있다는 건 나도 잘 알아. 개인 프로젝트나 학교 과제할 땐 나도 그거 쓰거든. 근데 내가 회사 H100 서버에 로컬 AI 배포하는 담당인데, 윗선에서 중국 모델은 절대 쓰지 말라고 못 박아버렸어. 상황이 개판인 건 알지만 어쩌겠냐, 내가 바꿀 수 있는 게 없는데. 솔직히 내 맘대로였으면 고민도 안 하고 바로 GLM 5.3 Flash 올렸지.
근데 문제는 120b 이상급, 특히 비전 모델 쪽에서 중국 모델이랑 서구권 모델 사이에 성능이랑 지능 격차가 존나게 크다는 거야. GLM이나 Qwen 근처라도 비빌 만한 서구권 모델이 거의 없거든. 그래도 어쩌겠어, 선택권이 없으니 그나마 쓸만한 서구권 모델 중에서 최선을 찾아야지.
혹시 H100 4장씩 박힌 프로덕션급 환경에서 나랑 비슷한 제약 걸린 형들 있어? 다들 어떤 비중국계 모델 쓰고 있는지 궁금해.
내가 지금 후보로 올려둔 건 조건(120b 이상, 비전 기능, 적당한 컨텍스트)을 그나마 충족하는 두 놈이야.
-
Thinking Machines Inkling Small (https://thinkingmachines.ai/news/inkling-small/). 현재로선 이게 제일 유력한데, 그래도 GLM 5.3 Flash랑 비교하면 AA 점수 차이가 16점이나 나더라.
-
Cohere Commamd A+ (https://cohere.com/blog/command-a-plus). 조건은 다 만족하는데 컨텍스트 윈도우가 128k로 좀 짧은 게 흠이야.
다른 후보들도 있긴 한데 비전 기능이 없어:
-
Poolside Laguna S 2.1 (https://poolside.ai/models#laguna-s)
-
Nvidia Nemotron 3 Super (https://research.nvidia.com/labs/nemotron/Nemotron-3-Super/)
혹시 120b 급에서 내가 놓치고 있는 강력한 모델 또 있을까? 형들은 뭐 쓰고 있고, 왜 그걸 선택했는지 좀 알려줘.
