New 100B Liquid AI model coming soon
Liquid AI의 차기 100B 모델 출시 가능성에 대한 기대와 하드웨어 제약, 모델 규모에 대한 커뮤니티의 토론입니다.
Liquid AI는 현재 업계에서 가장 빠른 LLM 아키텍처를 가지고 있고, 개인적으로는 실용성 면에서 최고 수준인 SLM들도 보유하고 있어. 그래서 100B 규모의 LFM(3?) 모델이 나오면 대체 어떤 괴물이 탄생할지 진짜 기대된다.
Liquid AI의 차기 100B 모델 출시에 대해 사용자들은 기대감을 표하며, 작은 모델보다는 30B 이상의 고성능 모델을 선호하는 분위기입니다.
투표 결과를 보는 건 흥미롭지만, 실제로 출시한다는 뜻은 아님. 2-5B 모델 훈련과 100B MoE 모델 훈련은 컴퓨팅 자원 차이가 엄청나서 실현 가능할지 의문임. 그래도 100B 모델은 DGX Spark, Strix Halo, Mac Studio, RTX Pro 6000, 4x RTX 3090 같은 환경에서 쓰기 딱 좋은 사이즈라 환영함.
계획도 없는데 선택지로 넣었을 리가 없다고 생각함.
그럴 수도. Qwen도 이런 투표를 했지만 결과가 팽팽해도 결국 1-2개 변형만 나왔음. 예측하기 어려우니 지금 하는 말들은 다 추측일 뿐임.
이론적으로 MoE의 컴퓨팅 비용은 활성 파라미터에 비례함. 훈련 소프트웨어가 복잡하긴 해도 5B 모델 훈련할 시간에 100B A5B MoE를 훈련해서 더 나은 성능과 희귀 시퀀스 기억력을 얻을 수 있음. 물론 all-to-all 통신이나 배치 사이즈 감소 같은 한계는 있지만... 보통은 더 넓게 가는 걸 선호함.
네 말이 학습 토큰당 효율 면에서 틀린 건 아닌데, 문제는 필요한 학습 토큰의 양이 실제 유효 파라미터 수가 아니라 전체 모델 파라미터 수에 비례한다는 거야. 그러니까 100B A5B를 학습시키는 게 덴스(dense) 100B 모델보다 연산량이 20배 정도 적게 드는 건 맞지만, 5B 모델이랑 똑같은 수준은 절대 아니지.
100B급 모델이 계속 나오는 건 좋지만, 이미 기준치가 꽤 높아졌어. 현재 128GB UMA 기기에서 쓰기 가장 완벽한 모델 사이즈는 Q3(S 또는 XXS) 버전의 DeepSeek-V4-Flash거든. 128GB UMA에 1M 컨텍스트가 딱 들어가고(1M 컨텍스트에서 KV 캐시가 11GB밖에 안 됨!), 루프 현상도 없고, 너무 깊게 생각하지도 않으면서 지식도 방대하고 성능도 탄탄해. 조만간 비전 기능도 추가될 것 같고...
100B급 모델들이 중간 영역을 잘 채워줬으면 좋겠어.
사실 DSv4-Flash의 낮은 퀀트 버전이랑 SOTA급 120B-A10B 모델의 높은 퀀트 버전을 비교하면 어떨지 궁금했음. 지금 Mac Studio에서 DSv4 네이티브 웨이트 돌리고 있는데 속도는 그냥저냥 괜찮거든. 근데 5090을 RTX Pro 6000 있는 본체로 옮겨서 DSv4-Flash Q3 버전이 쓸만하다는 네 말이 맞는지, 그리고 내 Studio보다 훨씬 빠른지 확인해봐야겠음. 만약 그렇다면 진짜 대박일 듯.
아니면 양자화만 제대로 하면 저렴한 R9700 두 개로도 가능할 듯
솔직히 난 4b 모델만 나와도 좋음. 이번 주에 테스트해보니까 LFM 2.6b가 꽤 놀랍더라고. 30b급 모델이랑 같이 돌리면서 간단한 작업 처리하는 보조 모델로 쓰기 딱 좋은 듯.
진짜 미친 작업임, 9B 모델이랑 성능은 같은데 크기는 4분의 1밖에 안 되고 아키텍처도 더 빠름! iGPU에서도 무리 없이 돌리는 중 ( https://arthurbrugiere.fr/blog/2026/08/ollama-intel-igpu/ )
120B가 아니라 100B라면 무조건 찬성임. 아니면 30B가 낫고. 64GB RAM/VRAM으로 돌릴 수 있는 걸 원하지, 존재하지도 않는 78GB VRAM 요구하는 건 싫음.
공유 고마움. 사람들이 투표할 수 있게 링크 좀 줘.
여러분, 작은 모델들한테 투표하지 마세요(걔네는 맨날 작은 모델만 내놓으니까요). 그러니까 # 30B나 100B에 투표하세요. 저번에 24B-A2B MOE 모델 준비 중이라고 했으니 30B는 거의 확정인 것 같네요. 100B까지 추가로 나오면 진짜 대박일 듯. 투표는 아직 열려있음: https://x.com/ramin_m_h/status/2091236099612098943
감자 노트북 쓰는 내 신세란...
아 놓쳤네, 30b에 투표했을 텐데
GPT-3 서비스 종료에 대한 아쉬움과 함께, 기업의 일방적인 모델 폐기 정책을 비판하며 로컬 모델 보존의 중요성을 강조하는 반응들.
GPT-3 서비스 종료에 대한 아쉬움과 함께, 기업의 일방적인 모델 폐기 정책을 비판하며 로컬 모델 보존의 중요성을 강조하는 반응들.
일론 머스크가 공유한 AI 모델 순위표에서 Gemini가 하위권으로 평가받자 커뮤니티에서 논쟁이 벌어짐.
일론 머스크가 공유한 AI 모델 순위표에서 Gemini가 하위권으로 평가받자 커뮤니티에서 논쟁이 벌어짐.
AI를 활용한 '바이브 코딩(vibecoding)'이 소프트웨어 산업과 SaaS 시장에 미칠 영향에 대한 논의입니다.
AI를 활용한 '바이브 코딩(vibecoding)'이 소프트웨어 산업과 SaaS 시장에 미칠 영향에 대한 논의입니다.