같은 프롬프트, DeepSeek V4.1 Flash vs Qwen 3.8 FN: 94 tok/s vs 350 tok/s

난 사실 압축(compaction)이 장기적인 에이전트 작업에 정말 큰 악영향을 준다고 생각해. LLM은 예측 시스템인데, 에이전트가 나중에 그 세부 정보가 필요할 때 모호한 기억에서 다시 탐색하거나 재구성해야 하니까 작업 실패로 이어지는 거지. 그래서 Qwen이 1M 컨텍스트 윈도우를 네이티브로 지원한다면, 아키텍처를 바꾸지 않더라도 결과가 엄청나게 달라질 것 같아.

공유해 줘서 고마워. 🐶

대단해! 엔진도 잘 봤어. 기여해 줘서 고마워!

최고 사양으로 해봐야 27b 모델을 IQ3로 15 t/s 돌리는 하드웨어를 가진 사람으로서 부러울 따름이야.

그래도 IQ1 테스트가 더 많이 나오는 건 보기 좋네.

이런 테스트가 우리가 필요로 하는 거지!

DSV4.1F1017로 돌려보는 중 https://huggingface.co/LibertAIDAI/DeepSeek-V4.1-Flash-1017-EXL3-2.9bpw

결과 나오면 다시 올림

두 서브 에이전트가 "이제 파일 작성 시작할게"라고 해놓고는 절대 안 하더라.

전형적인 서술만 하는 턴이네. 생각 루프(think loops) 다음으로 가장 흔한 디코드 오류지.

난 이런 거 잡아내서 에이전트가 다시 시도하게 강제하는 프록시를 만들었어.

DeepSeek 쪽이 월 타임(wall time)은 더 좋아 보이는데, 내 환경에서는 아마 다를 듯: DSv41f 20t/s vs QFN 120t/s

재밌는 프롬프트 공유해줘서 고마워. 나중에 써보려고 저장해뒀어.

oMLX, M4 Max 128GB 환경에서 Qwen3.8-Flash-Next-oQ4e-mix6-mtp로 돌려봤는데 한 시간 정도 걸린 듯? 모든 토글이 다 작동하네. 금속 질감까지 렌더링할 수 있는 줄은 몰랐어. Qwen 4로 이 프롬프트 테스트해볼 생각에 벌써 기대된다.

컷어웨이 토글 선택함:

난 프로그래머가 아닌데 최근에 재미 삼아 로컬 모델(그리고 AI 전반)을 돌리기 시작했고 너무 즐겁게 하고 있어. 로컬 하네스가 뭔지도 모르고 그냥 LM Studio 채팅 인터페이스랑 Unsloth 데스크탑 채팅 인터페이스만 쓸 때, 내 로컬 AI(당시 Qwen 3.8 27B)한테 툴 같은 걸 사용할 수 있는 내 AI 서버 연결용 클라이언트 앱을 만드는 게 가능하냐고 물어봤거든. 그래서 "내가" 앱을 만들기 시작했고, 그 이후로 그것만 쓰고 있지(다른 기능들도 궁금해서 Hermes 같은 것도 써봐야 할 것 같아). 홈 네트워크에 필요한 앱들을 이것저것 만들고 있는데 정말 재밌어. 현재 Strata랑 Radiance를 사용 중이고 Flash Next랑 Deepseek 1017 2.25bpw를 돌리고 있어. R9700 GPU 4개에 시스템 램 256GB를 쓰는데, 5비트 FN 모델을 돌리면 Flash Next는 ~235 tok/s에 프리필 7-8k 정도로 아주 잘 돌아가. Deepseek는 Strata에서 50-70 tok/s에 프리필 1600 정도 나오는데, 작성자는 훨씬 빠르게 돌리고 있네. 어떻게 그렇게 빠르게 돌리는 거야? Basalt가 R9700 GPU랑도 호환돼?