Are you guys buying huge HDDs to store the best open models just in case?
AI 모델 검열이나 접근 제한에 대비해 로컬에 모델을 아카이빙하려는 움직임과 하드웨어 가격 상승에 대한 토론입니다.
HuggingFace도 좋긴 한데, 우리가 이걸 당연하게 여겨도 될까? 🤔
오픈 소스 모델의 보존 가능성에 대해 해시값 저장과 같은 실용적인 대안부터 미래의 하드웨어 규제 가능성까지 다양한 의견이 제시되고 있습니다.
최근에 모델 토렌트 사이트들이 몇 군데 생겼음. modelregistry나 thehuggingbay 같은 곳들 말이야. 난 지금 당장 드라이브를 잔뜩 사고 있지는 않음.
HuggingFace 좋긴 한데, 언제까지나 당연하게 누릴 수 있을까? 🤔
진짜 걱정되면 테라바이트 단위로 데이터 다운로드할 거 없이 지금 당장 모델들의 sha512 해시값들만 적어두면 됨. HuggingFace에 있는 해시값 다 합쳐봤자 몇 메가바이트도 안 될걸.
그거 긁어올 스크립트 있으면 좋겠네.
근데 HuggingFace 백엔드는 그냥 git-lfs 아님?
그냥 git-lfs 데이터 다 안 받고 레포만 클론하면 됨 (아니면 전부 다 저장하고 싶으면 모델 데이터까지 같이 받고).
git-lfs 포인터 있는 레포들은 비교도 안 되게 작음. 기껏해야 수십 메가바이트 정도?
그리고 git 히스토리에 모델 해시 업로드랑 변경 사항 다 남아있음. 내 기억엔 전부 SHA256인데, 그거면 충분할 듯.
지금 산다고? 아니, 드라이브 가격이 2~5배는 올랐는데. 작년에 샀냐고? 응. 모델 아카이빙이랑 백업용으로 200TB 넘게 저장 공간 확보해뒀지. 지금 이렇게 하는 게 실용적이냐고? 아니, 딱히 그렇지도 않아. 하지만 '생명은, 어, 길을 찾는다'는 말처럼, 설령 모델이 금지되거나 제한되더라도... 더 창의적인 수단을 통해 구할 방법은 분명히 있을 거야.
아니, 드라이브 가격이 2~5배는 올랐는데.
2023년에 아마존에서 삼성 T7 4TB SSD를 229달러에 샀는데, 지금은 같은 제품이 950달러가 넘더라 🤯
응, 거의 모든 게 지금은 구하기 힘든 수준이지. 내가 350달러 정도에 샀던 22TB 드라이브도 지금은 900달러 정도 하니까.
SMR 하드 디스크는 NAS나 서버용 CMR 디스크에 비해 여전히 쌀지도 모름. SMR은 한 번 쓰고 마는 용도엔 좋지만, 디스크를 채우다 보면 새로운 쓰기 작업이 이미 기록된 영역까지 계속 밀려 들어와서, 끝도 없는 쓰기 작업의 연쇄 반응이 일어남.
아마존에서 4GB T7이 700달러라니, 뭐 누가 따지겠냐만은.
내 2TB T7은 23년 7월 20일에 119달러였는데 지금은 350달러네 (최근엔 500달러 넘었다가 내려온 거임).
가격이 내려가긴 할까??
음, 그렇긴 하지? 언젠가는. 근데 단기간에 뭔가 급격한 변화가 없는 한 꽤 걸릴 거임. 새로운 팹이랑 생산 시설이 가동되고 공급이 늘어나겠지만, 이게 즉각적으로 되는 게 아님. 새로운 팹 하나 돌리는 데 최소 몇 년은 걸리고 보통은 그보다 더 걸림. 내가 아는 업계 주문량이나 전반적인 추세를 보면, 메모리랑 스토리지 둘 다 2029년, 아니면 2028년 말쯤 돼야 숨통이 좀 트일 것 같음. 내 생각엔...
아이고 순진한 친구야
아니. 2019년인가에 유출된 DARPA 스타일의 파워포인트가 있었는데(DARPA 사람들이 정부 관계자들한테 설명하는 내용이었음), 거기 보면 LLM을 구동하는 GPU나 부품들이 결국 군사 장비로 분류돼서 금지될 거라는 내용이 있었음. 중간 단계 해결책은 그냥 가격을 미친 듯이 올려서 아무도 못 사게 만드는 거라고 생각함.
링크 있음?
NVIDIA가 에이전트 보안을 위한 오픈소스 샌드박스 'OpenShell'을 공개하며 업계 표준화를 주도하고 있습니다.
NVIDIA가 에이전트 보안을 위한 오픈소스 샌드박스 'OpenShell'을 공개하며 업계 표준화를 주도하고 있습니다.
Anthropic이 공개한 Claude 3.5 Opus 공식 프롬프팅 가이드의 핵심 요약 12가지.
Anthropic이 공개한 Claude 3.5 Opus 공식 프롬프팅 가이드의 핵심 요약 12가지.
Claude 5.5의 뛰어난 성능에 감동해 AI에게 고마움을 표하는 사용자의 심리와 이를 공감하는 커뮤니티 반응.
Claude 5.5의 뛰어난 성능에 감동해 AI에게 고마움을 표하는 사용자의 심리와 이를 공감하는 커뮤니티 반응.