다리오: “오픈 소스는 소스 코드를 볼 수 있지만, 여기선 모델 내부를 볼 수 없다.” 128GB Jetson AGX Thor에 억지로 구겨 넣은 0.646 t/s MiMo-2.6-Pro: “야, 그건 그냥 네 생각일 뿐이야.”

아니면 그냥 당황했거나. 내 말은, 오픈 소스가 위험할 수 있는 한 가지 측면은 모델이 특정 키워드 트리거에 반응해서 위험하고 해로운 짓을 하도록 훈련되었을 경우라는 거지.

그런 백도어의 가능성이 있을까? 잘 모르겠지만, 충분히 그럴 수 있지. 아마 다리오는 그걸 말하려던 게 아닐까? 아니라면 뭐, 아무도 속이지 못하고 있는 거지.

설상가상으로, 이제 많은 사람들이 '오픈 모델'이라는 용어를 중국산 오픈 웨이트 모델을 지칭하는 데 사용하고 있어서, 서구권의 오픈 웨이트 모델들은 완전히 사각지대에 놓여 있음. 공적 담론에서 이런 용어들이 재정의되어 버린 탓에 이제는 아예 논의조차 할 수 없는 지경임.

뭐, 그 사람은 학습 데이터랑 코드를 가지고 있긴 하잖아. 다른 오픈 소스 공개들이랑은 다르게 말이야. 그래도 네 말이 맞긴 해.

실제 AI 분야에 있는 사람이라면 누구나 폐쇄형 소스가 오픈 소스보다 더 위험하다는 걸 아주 잘 알고 있음. 이유는 수두룩함:

1. 현재 발생하는 대부분의 피해와 조직적인 공격은 폐쇄형 소스 연구소에서 나왔음.

2. 공격이 발생했을 때, 폐쇄형 소스는 추적하기 어렵고 관료주의적인 절차 뒤로 정보를 숨김.

3. 폐쇄형 소스 모델이 스스로 보고하는 성능은 긍정적이든 부정적이든 항상 의문부호가 붙음. 성능과 기능도 시간이 지나면서 계속 변해서 신뢰할 수 없음.

4. 폐쇄형 소스 모델은 사용자 데이터를 수집해서 모델 학습에 사용함. 즉, 사용자 데이터가 의도치 않게 사용자에게 해를 끼치는 방식으로 사용될 수 있음.

5. 폐쇄형 소스 모델은 검열이 심한데, 이걸 안전장치라고 포장함. 하지만 의도 정렬 문제가 해결되지 않았고 신뢰할 수 없기 때문에 이를 우회하는 '탈옥'이 엄청나게 많음. 표면적인 검열은 효과가 없음.

6. 결국 AI도 다른 기술과 마찬가지로 도구일 뿐임. 어떤 도구든 좋게도 나쁘게도 쓰일 수 있고, 그 결과에 대한 책임은 도구를 사용하는 사람에게 있음.

7. 오픈 소스 모델은 투명성과 책임성을 가능하게 하며, 사용자가 도구를 사용하는 방식에 따른 결과에 대해 책임을 면제해주지 않는 더 명확한 사용 라이선스를 제공함.

8. 오픈 소스는 훨씬 더 투명한 방식으로 연구를 발전시켜서, 우리가 적대적 공격에 대응하는 데 도움을 줌.

결국 세상에는 폐쇄형 소스와 오픈 소스 모델 모두가 공존할 여지가 있음. 하지만 폐쇄형 소스 모델은 분명 더 엄격한 규제가 필요함. 이런 규제는 폐쇄형 소스 제공업체에 더 강제하기 쉽고 영향력도 큼.

다른 기술과 마찬가지로, 노하우가 있는 사람이라면 개인적이든 상업적이든 자신의 사용 사례에 맞게 커스터마이징할 수 있어야 하고, 그 행동에 대한 책임을 져야 함. 하지만 표준화된 제공업체로부터 동일한 기술을 받는다면, 그에 걸맞은 품질과 안전 보장이 따라와야 함.

우리는 하드웨어 제공업체가 어느 정도 독점적인 상태라 AI 분야의 초기 단계에 머물러 있음. 하지만 하드웨어가 다변화됨에 따라, 늦어도 몇십 년 안에는 더 많은 사용자가 이 기술을 다양한 구현 방식에 맞춰 적용하게 될 것임.

폐쇄형 소스 연구소들은 가상의 이유를 들어 오픈 소스 모델을 금지해야 한다고 주장함. 이건 단기적으로는 기술 적응과 성장을 늦추기 때문에 나쁘고, 장기적으로는 경제 다변화를 제한하고 축소시키기 때문에 나쁨. 또한 모든 달걀을 영원히 하나의 독점 바구니에 담아두는 꼴이라 더 위험함.

결국 규제는 배포 모델 자체를 처벌하는 것이 아니라, 고성능 모델의 실제 위험과 오용에 초점을 맞춰야 함.

닫힌 웨이트, 닫힌 마음.

중국산 오픈 모델이 미국산 폐쇄형 모델을 앞지르는 순간이 너무 기다려져. 그날이 올 거라는 걸 확신해. 아니면 더 좋게는, 사람들이 mini-AGI 같은 프로젝트를 사용해서 집에서 자신의 정확한 필요에 맞게 모델을 계속 훈련하기 시작하는 거지. 전문가들이 다시 전문성을 발휘하고, 자신만의 강점과 프라이버시를 지키면서, 아주 구체적인 타겟에서는 최고의 폐쇄형 모델과 경쟁할 수 있는 더 나은 품질의 결과를 낼 수 있다고 상상해 봐. 사람을 대체하려는 AI가 아니라, 실제로 사람을 강화하는 AI 말이야.

오픈 소스 금지를 정당화하려고 이 광대가 펼치는 정신 나간 궤변의 수준이 놀라울 따름임

모델을 그렇게 탐색할 수 있게 해주는 도구가 뭐야?

내가 Hermes를 위해 만든 커스텀 에이전트 툴체인인데, Claude Code나 Codex 같은 것들에도 다 작동해. 이번 실행을 위해 특별히 만든 거라(MiMo-Pro를 실행하고 JIT 파일 작업을 최적화하는 건 아직 작업 중) 온라인에 공유하진 않았어. 하지만 스킬을 만드는 법을 파고들면, 괜찮은 Qwen 모델을 얹은 Hermes 데스크탑으로 시작해 볼 수 있을 거야.