Intel B65 벤치마크 자료가 거의 없어서 직접 4개로 테스트해 봄. Flash-Next 및 기타 모델의 긴 컨텍스트 스윕
Hardly any benchmarks for Intel B65, so I got 4x and tested them. Long Context Sweeps for Flash-Next and other models
핵심 요약
Intel B65 4개 구성으로 다양한 모델의 긴 컨텍스트 처리 성능을 직접 테스트하고 공유함.
- B65 벤치마크 — Intel B65 4개 구성의 고대역폭 메모리 성능 실측
- 긴 컨텍스트 스윕 — Flash-Next 및 Qwen3.8-27B 모델의 컨텍스트 길이별 처리량 측정
- vLLM 최적화 — 현재 기본 설정 상태이며 향후 소프트웨어 업데이트로 성능 향상 기대
- 사용자 피드백 — 실제 사용 사례 중심의 벤치마크 데이터 공유에 대한 긍정적 반응
수정: 아오, 포맷팅 좀 봐줘. 오늘따라 .md랑 레딧이 내 속을 썩이네!
다들 안녕! 이번에 4x B65로 새로 맞춘 장비에서 테스트 좀 돌려봤어. 높은 메모리 대역폭이 실사용에서 진짜로 어떻게 작동하는지 궁금했거든. 이번엔 우리 인기 모델들로 긴 컨텍스트 스윕(long context sweeps) 테스트를 진행했어!
혹시 보고 싶은 특정 테스트 있으면 말해줘. 시간 되면 어떻게든 끼워 넣어 볼게.
그리고 오프로드 테스트도 시작했어. 레이어 일부를 시스템 RAM으로 넘기는 방식인데, 아직은 flash-next로만 돌려보는 중이야. 근데 내 사이트 "by model" 섹션에 flash-next 관련해서 꽤 흥미로운 결과들이 나왔어.
아래에 몇 가지 예시를 적어뒀고, 내가 테스트한 모든 모델의 전체 컨텍스트 스윕 리스트는 여기 있어: https://b65.thekaiser.us/matrices/
내 데이터로 만든 AI 생성 표야:
Qwen3.8 Flash-Next 및 27B — Intel Arc Pro B65 컨텍스트 스윕
모든 수치는 30초 동안 진행된 각 테스트에서 반복 요청을 거쳐 측정한 **전체 출력 처리량(tokens/sec)**이야. 요청 사이의 대기 시간도 포함된 수치고, 프롬프트 처리 속도가 아니라는 점 참고해.
열은 동시에 요청한 개수를 나타내. 컨텍스트 길이는 K = 1,024 토큰 단위야. *는 요청이 큐에 쌓였거나 용량 제한에 걸린 경우고, —는 용량 초과로 스킵된 거야.
Flash-Next W4A16 — 4× B65 — MTP-3 활성화 vLLM 0.30.0 · 2026년 10월 18일
| Context | 1 request | 2 requests | 4 requests |
|---|---|---|---|
| 0 | 84.5 | 145.6 | 243.2* |
| 16K | 73.4 | 115.4* | 166.4* |
