Yes bots we get it, Strata is good now please stop
r/LocalLLaMA 서브레딧에 갑자기 쏟아지는 Strata 찬양 글들에 대한 피로감을 토로하는 글.
여기는 무슨 코노스바에서 광신도들이 자기네 종교 안 믿으면 큰일 난다고 억지 상황극 벌이는 그 장면이랑 똑같아졌네.
Strata의 뛰어난 성능과 하드웨어 활용도에 대해 사용자들의 긍정적인 평가가 이어지고 있음.
이 서브레딧에서 새로운 걸 알게 되는 건 항상 누군가 불평하는 글을 올렸을 때뿐이네.
u/Mayion이 봇이고 이게 같은 캠페인의 일환이라서 그래.
아직 Strata에 대해 못 들어봤는데, 누가 좀 자세히 설명해 줄 사람? (첫 시도니까 실수하지 말고)
Qwen flash next만 돌아가는데, 기술적으로 어떻게 작동하는지는 잘 모르겠고 깃허브 페이지에서 자세한 내용 확인해 봐. 그래도 내부적으로 llama-cpp를 쓰는 건 알아. 나는 5090에 64gb ddr5 쓰는데, Swift-Qwen3.8-Flash-Next-GSQ-RCO-IQ3_XXS랑 Qwen3.8-Flash-Next-GSQ-RCO-IQ3_S (ISTA-DASLab) 이렇게 두 개 돌릴 수 있어. 나한테는 이 두 개가 잘 돌아가. 두 번째 게 램을 더 많이 먹긴 해. 그리고 모니터 페이지도 있어 https://imgur.com/a/strata-DLC3EvW. 내 사용 사례인 c vulkan 게임 엔진에서는 27b보다 훨씬 낫더라.
아니, 인정할 건 인정하자. 이건 드물게 어떤 사람의 깃허브 레포가 게임 체인저가 된 경우야. 16GB VRAM이랑 램만 충분하면 이제 선두 오픈소스 SOTA 모델(Qwen 3.8 Flash Next)을 괜찮은 TK/S로 돌릴 수 있어. Qwen 3.8 27B는 아예 건너뛰고 더 나은 Flash Next를 쓰면 됨. 그리고 일반적인 Qwen 3.8 27B 추론 설정이랑 다르게, Strata가 전체 하드웨어 스택을 더 잘 활용한다는 걸 아니까 더 만족스러움(스크린샷: 내 노트북에서 GPU랑 같이 CPU 12코어 돌아가는 htop). 난 지금 리전 노트북(24GB VRAM, 128GB RAM)에서 VM이랑 Pod 돌리면서 IQ3_S(가장 무거운 모델)를 262k 컨텍스트로 돌리는 중임. 중간 전력 설정에서 디코딩 속도는 보통 82 tok/s 정도 나옴.
이거 봇들이야, 아니면 그냥 좋은 신제품 나와서 다들 신난 거야? 이게 진짜인지 아니면 그냥 사기(snake oil)인지 판별할 데이터 있는 사람 있으면 좋겠네.
내 생각엔 이 정도 흥분은 충분히 할 만함. 원래 128GB 맥에서 Qwen3.8-Flash-Next를 데일리로 썼거든. 근데 지금은 64GB 램에 RTX 4080, DDR4 DRAM, AM4 5800x3D CPU 달린 구형 게이밍 PC에서도 비슷한 퀄리티로 돌아감. SOTA급 Flash 모델 같은 느낌의 모델을 구형 사양 PC에서 초당 60 토큰 넘게 뽑아내면서 설정까지 엄청 쉬우니까 진짜 마법 같음.
Jev는 써봤냐?
그냥 vram, ram, ssd를 계층형 스토리지로 써서 큰 MoE 모델 돌리는 또 다른 앱일 뿐임.
12Gb 이상의 GPU를 위한 Qwen 3.8 flash next 전용 llama-fork야. 특정 모델에 맞춰 최적화된 엔진들이 그렇듯 속도는 빨라.
나도 마찬가지. 봇처럼 보일 위험을 무릅쓰고 말하자면, Strata 처음 돌렸을 때 내장 모니터에 찍히는 프리필 속도 보고 육성으로 탄성 질렀음. Opus 4.5보다 똑똑한 모델로 100tk/s 넘게 뽑는 건 진짜 예상 못 했다. 하이프 받을 만함. 글쓴이도 한번 써봐.
둘 다 섞여 있는 듯. 그래도 무시할 건 아님. 이 엔진은 강력하고 Qwen 3.8 FN이 생각보다 훨씬 빠르게 돌아갈 수 있다는 걸 보여줬거든. llama.cpp에서는 ~15 TG 정도로 돌렸는데, Strata 쓰니까 ~35-40 TG가 나오더라. 사소한 성능 개선 수준이 아니라 말 그대로 2배 이상의 속도 차이야. 이건 특정 모델을 사용하는 경험 자체를 완전히 바꿔버리는 엄청난 성능 도약이라고.
그러니까 그래, 홍보하거나 카르마 좀 얻으려는 봇들도 많겠지만, 백엔드는 진짜고 성능도 확실히 강력해.
RTX 5090 구매 시 수출 금지 서약서 작성이 요구되자, 엔비디아에 대한 반감과 중국 AI 하드웨어의 성장을 기대하는 반응이 쏟아지고 있습니다.
RTX 5090 구매 시 수출 금지 서약서 작성이 요구되자, 엔비디아에 대한 반감과 중국 AI 하드웨어의 성장을 기대하는 반응이 쏟아지고 있습니다.
Space Bunny 모델을 활용해 Three.js로 3D 말을 생성하는 코딩 테스트를 진행함.
Space Bunny 모델을 활용해 Three.js로 3D 말을 생성하는 코딩 테스트를 진행함.
