AMD 7900 XTX에서 500k 컨텍스트로 Qwen 3.8 Flash-Next를 돌려봤습니다. 전부 로컬 환경인데, 정말 엄청난 변화네요.
I ran Qwen 3.8 Flash-Next on my AMD 7900 XTX at 500k context. All local and what a shift it has been.
핵심 요약
AMD GPU 환경에서 500k 컨텍스트를 활용해 로컬 LLM을 구동한 성공적인 경험과 성능을 공유합니다.
- 로컬 LLM 구동 — AMD 7900 XTX 환경에서 500k 컨텍스트 구현함
- 성능 최적화 — Strata를 통해 105~160 tok/s의 디코드 속도 달성함
- 컨텍스트 효율성 — 500k 토큰까지 압축 없이 안정적인 성능 유지함
- 하드웨어 활용 — VRAM과 시스템 RAM을 조합하여 대규모 모델 구동함
한 달 정도 유료 팟 시트에서 Qwen3.8-Flash-Next(베이스 모델이랑 나중에 쓴 Swift-1.5 NVFP4)를 돌리고 있었는데, 이 새끼가 갑자기 지가 했던 추론 내용을 그대로 앵무새처럼 따라 하면서 짧게 답변하기 시작하더라. 처음엔 컨텍스트가 너무 길어져서 맛이 갔나 싶었거든? 근데 아니었음.
거의 13,000번 정도 턴을 돌려보니까 그 에코 현상이 266번이나 나타났는데, 컨텍스트에 이전 내용이 많이 쌓일수록 다음 턴에서 똑같은 짓을 할 확률이 존나게 높아지더라고. 범인은 `preserve_thinking: true` 이 설정이었음. 이게 이전 추론 내용을 모든 프롬프트에 계속 처넣고 있었던 거임. 에코 현상 없애니까 문제 싹 해결됨.
Flash-Next를 다시 믿게 된 김에 요즘 핫한 Strata도 한번 써볼까 싶어서 AMD에서도 돌아가는지 확인해 봤지. 전체 파라미터 176B에 토큰당 활성 파라미터 6B, 가중치는 66.4GB인데 VRAM에 23.8GiB 상주하고, 전문가 가중치 31.6GB랑 PLE 테이블 28.8GB는 시스템 RAM으로 빠지더라.
결과:
디코딩 속도는 105–160 tok/s 나옴. 컨텍스트는 500,000인데 실제로 측정해보니 506,849 토큰까지 버티더라.
품질은 thinking 끄면 81~84%, 켜면 88~94% 수준 유지했고, 4k, 64k, 256k 구간에서 데이터 잘린 거 하나도 없었음.
디코딩 속도는 그 구간에서 18% 정도 떨어졌는데, 이건 그냥 깊어질수록 느려지는 거지 성능이 박살 난 건 아님. 내가 쓰던 llama.cpp나 Swift 1.5 27b dense 모델이랑 비교하면 진짜 엄청난 발전임.
pi에서 컨텍스트 500k로 설정해두고 지금 내 메인 머신으로 쓰는 중. 로컬 환경에서 또 한 번 엄청난 도약을 경험했다.
전체 후기는 https://t0mj.github.io/holler/posts/flashnext-q2-strata-amd-daily-driver/
앞으로도 게이밍 PC에서 로컬 개발용으로 flash-next랑 strata 써본 경험들 더 정리해서 올릴 생각임.
면책 조항: 이 글은 내가 직접 쓴 내용에 AI의 도움, 피드백, 검증, 자료 수집 과정을 섞어서 작성함. (그래, 이 문장도 내가 직접 쓴 거 맞음.)
