Qwen3.8-2.4T-A95B Released
2.4조 파라미터의 거대 모델 Qwen3.8 출시 소식에 로컬 구동 가능 여부를 두고 유머러스한 농담이 이어짐.
huggingface.co
원문 사이트로 이동
모델 용량이 너무 커서 일반적인 홈랩 환경에서는 감당하기 어렵다는 반응이 지배적입니다.
드디어 로컬에서 돌릴 수 있는 모델이 나왔네, 적당한 사이즈의 모델 내놓느라 오래도 걸렸다.
난 내 로컬 데이터센터에서 문제없이 돌리는 중.
라즈베리 파이에 6TB 하드 드라이브 연결하면 돌아갈걸! (아마도)
아프리카의 작은 마을을 기판으로 삼아서 추론 엔진을 만들었어. 자금 지원 좀 플리즈!
왜 그렇게 해? 그냥 수학인데, LLM 행렬은 종이에 계산하면 되잖아.
종이에?! 텐서 곱셈 정도는 머릿속으로 다들 할 줄 아는데 왜 종이랑 펜을 낭비해!
머릿속은 왜 써? 소중한 뇌세포를 왜 낭비해? 그냥 자석 돌 두 개 쥐고 눈 감은 다음, 양자 요동이 어텐션 가중치를 처리하게 둬.
일주일에 몇 토큰씩?
아니, 수십억 개의 TI-84 계산기(각 3MB 저장공간)를 구해서 전부 네트워크로 연결해 세상에서 제일 엿 같은 클러스터를 만드는 게 낫지. 하루에 1토큰 정도 나올걸.
하루에 1토큰.
다음 달 내내 "이 새로운 기술로 내 토스터기에서 Qwen3.8 Max 돌려봄" 같은 글들 올라올 예정임. (주의: 그 '새로운' 기술은 SSD에서 스트리밍하는 거고 Qwen은 0.01 tps로 돌아감) (주의 2: 댓글 절반은 "그거 SSD 망가뜨림"이고 나머지 절반은 "llama.cpp는 이미 오래전부터 지원하던 거임"일 거임) (주의 3: 첫 번째 절반 댓글들에 대한 대댓글은 "SSD 안 망가짐"이 달릴 예정임)
bf16으로 5테라바이트라니 미친. 이제 홈랩 미친놈들도 감당 못 하겠네.
난 다운로드조차 못 하네 ㅋㅋㅋ
이제 HDD 레이드 0 돌릴 시간이네.
뭐 16TB 준비해 놨으니 다운로드는 할 수 있겠는데, 이걸로 뭘 할 수 있냐고? 절대 못 하지 ㅋㅋ
사용자가 자신의 타이핑 속도를 측정해 LLM의 토큰 생성 속도(t/s)와 비교하는 웹 도구를 만들어 공유했습니다.
사용자가 자신의 타이핑 속도를 측정해 LLM의 토큰 생성 속도(t/s)와 비교하는 웹 도구를 만들어 공유했습니다.
사이버 보안 전문가가 Claude를 활용해 며칠 걸리던 고난도 CTF 문제를 단 2시간 만에 해결한 경험담.
사이버 보안 전문가가 Claude를 활용해 며칠 걸리던 고난도 CTF 문제를 단 2시간 만에 해결한 경험담.
AI를 활용한 '바이브 코딩(vibecoding)'이 소프트웨어 산업과 SaaS 시장에 미칠 영향에 대한 논의입니다.
AI를 활용한 '바이브 코딩(vibecoding)'이 소프트웨어 산업과 SaaS 시장에 미칠 영향에 대한 논의입니다.