Mythos was the first, now GPT-5.6
OpenAI의 GPT-5.6 출시 제한 조치에 따른 로컬 LLM의 중요성과 탈중앙화 필요성에 대한 논의.
IPO를 앞둔 과대광고이거나, 아니면 스스로 제 발등을 찍은 셈이다. 더 발전된 온라인 모델은 이제 끝물이다. 로컬 LLM이 그 해답 중 하나지. 그리고 그래, 중국한테는 잘된 일 같네. 자기들이 딱히 뭘 할 필요도 없었으니까.
정부의 AI 규제에 대한 우려와 함께, 이를 우회하기 위한 P2P 네트워크 및 로컬 LLM의 중요성이 강조되고 있습니다.
진짜 문제는 허깅페이스 같은 AI 사이트들에 언제 '고객 알기 제도(KYC)' 법안이 적용될지라는 거지.
비트토렌트가 인사 한 번 하겠대.
개소리! 비트토렌트가 그렇게 거대한 파일들을, 그것도 그렇게 많이 지원한다고? 절대 아니지. 사람들이 모든 엔진과 모든 모델의 모든 양자화 버전을 무기한으로 시딩한다고? 말도 안 돼.
비트토렌트로 기대할 수 있는 건 기껏해야 그날의 인기 모델(예를 들면 Qwen 27B) GGUF Q4 버전 정도야. 트렌드에서 조금만 벗어나도 시더가 나타날 때까지 몇 주를 기다려야 할걸.
토렌트 파일 인덱싱 문제는 언급도 안 했어. 젠장, 우리는 팝콘 타임조차 제대로 된 상태로 만들지 못했다고, 100개가 넘는...
직접 양자화하면 되잖아?
결국 오픈 모델에 대한 사람들의 관심을 점점 더 죽이게 될 거임. 만약 모든 '초보자를 위한 SFT 가이드'가 비트토렌트 클라이언트를 설치하고, 쓰레기 같은 링크들 사이를 헤매며 링크를 믿고, 시더가 있길(혹은 아예 있긴 하길) 바라거나 며칠씩 다운로드 기다리는 게 된다면, 이제는 양자화(quantanize)까지 해야 하니까... 사람들이 귀찮아서 안 하게 될 거임.
그러면 분명히, Anthropic이나 OpenAI가 정부 승인을 받은 오픈 웨이트 모델들을 내놓겠지. 자기들이 허용하고 싶은 것들만 포함해서 말이야.
수정: 그리고 민간... 도 잊지 말자고.
그냥 시딩하는 거랑 암호화폐를 엮어버리면 됨. 시딩 많이 할수록 암호화폐 더 벌고, 다운로드할 때 암호화폐 쓰는 식으로.
대부분의 프라이빗 트래커가 기본적으로 돌아가는 방식이지.
흥미롭네.
중국판 허깅페이스인 모델스코프가 한마디 하겠네.
데이터 수집가들을 너무 과소평가하네. 20년 전 인디 영화 토렌트도 아직 찾을 수 있는데. 나 같으면 기꺼이 랜덤 모델 하나 호스팅하겠다.
음, 난 다운로드 2Gbps에 업로드 2Gbps 쓰는데. 집 안까지 광랜이 들어와!
오래된 자료도 잘만 시딩하는 사람들 많아.
소비자용 NAS 사서 그런 희귀 모델들을 영원히 시딩하는 건 아주 저렴해. 대역폭도 그렇게 많이 필요하지 않고. 집에 광랜 써서 대역폭 충분한 사람들도 많고.
소비자용 NAS 사서 아주 저렴하게
이제는 아니야, 지난 9개월 동안 HDD 가격이 3배나 올랐거든.
내가 마지막으로 봤을 땐 SAS도 그렇게 나쁘진 않았음. 쟁여둬!
HDD 가격을 보면.. 잘 모르겠네. 192GB VRAM 서버 가진 사람들한테는 엄청 싸겠지만, 일반 사용자들한테는 아니지.
NVIDIA가 에이전트 보안을 위한 오픈소스 샌드박스 'OpenShell'을 공개하며 업계 표준화를 주도하고 있습니다.
NVIDIA가 에이전트 보안을 위한 오픈소스 샌드박스 'OpenShell'을 공개하며 업계 표준화를 주도하고 있습니다.
Claude Sonnet 5.5는 이전 세대보다 30% 더 빠르고 저렴하며, 향상된 코딩 및 문서 작업 능력을 갖췄습니다.
Claude Sonnet 5.5는 이전 세대보다 30% 더 빠르고 저렴하며, 향상된 코딩 및 문서 작업 능력을 갖췄습니다.
