잠깐만... 맞아, 지금 난 IQ3_S로 Strata 돌리고 있는데 원래 답글에는 일부러 그건 뺐어 ㅋㅋ Gemma 4 모델 말고는 당분간 llama.cpp는 안 쓸 거야.
내 최근 Strata 세션 (200K ctx int8 KV):
[strata] thinking: 653 / 최대 16384 토큰, 172.1 tok/s, 4초
[strata] 도구 호출 작성 중: bash: 833 / 최대 16384 토큰, 173.3 tok/s, 5초
[strata] 도구 호출 작성 중: bash: 1070 / 최대 16384 토큰, 183.9 tok/s, 6초
[strata] 도구 호출 작성 중: bash: 1316 / 최대 16384 토큰, 192.9 tok/s, 7초
[strata] 완료: 8초 동안 1458 토큰 (196.8 tok/s) (중단, cancel=False), 전문가 캐시 95.7% 적중 (PCIe를 통해 라우팅된 전문가의 +0.9%)
[strata] 도구 호출 작성 중: bash: 110 / 최대 16384 토큰, 154.3 tok/s, 1초
[strata] 완료: 2초 동안 271 토큰 (208.8 tok/s) (중단, cancel=False), 전문가 캐시 91.9% 적중 (PCIe를 통해 라우팅된 전문가의 +2.2%)
[strata] 도구 호출 작성 중: bash: 191 / 최대 16384 토큰, 217.9 tok/s, 1초
[strata] 도구 호출 작성 중: bash: 434 / 최대 16384 토큰, 231.1 tok/s, 2초
[strata] 완료: 2초 동안 500 토큰 (235.9 tok/s) (중단, cancel=False), 전문가 캐시 93.8% 적중 (PCIe를 통해 라우팅된 전문가의 +1.5%)
[strata] 도구 호출 작성 중: bash: 167 / 최대 16384 토큰, 225.6 tok/s, 1초
[strata] 완료: 2초 동안 425 토큰 (249.9 tok/s) (중단, cancel=False), 전문가 캐시 93.8% 적중 (PCIe를 통해 라우팅된 전문가의 +1.5%)
[strata] thinking: 102 / 최대 16384 토큰, 138.1 tok/s, 1초
[strata] thinking: 267 / 최대 16384 토큰, 152.9 tok/s, 2초
[strata] 도구 호출 작성 중: bash: 453 / 최대 16384 토큰, 164.1 tok/s, 3초
[strata] 도구 호출 작성 중: bash: 679 / 최대 16384 토큰, 180.5 tok/s, 4초
[strata] 도구 호출 작성 중: bash: 971 / 최대 16384 토큰, 203.6 tok/s, 5초
[strata] 도구 호출 작성 중: bash: 1224 / 최대 16384 토큰, 212.1 tok/s, 6초
[strata] 완료: 6초 동안 1262 토큰 (212.8 tok/s) (중단, cancel=False), 전문가 캐시 94.9% 적중 (PCIe를 통해 라우팅된 전문가의 +1.2%)
[strata] thinking: 118 / 최대 16384 토큰, 156.7 tok/s, 1초
[strata] thinking: 302 / 최대 16384 토큰, 171.9 tok/s, 2초
[strata] thinking: 469 / 최대 16384 토큰, 169.9 tok/s, 3초
[strata] 도구 호출 작성 중: bash: 671 / 최대 16384 토큰, 177.8 tok/s, 4초
[strata] 도구 호출 작성 중: bash: 950 / 최대 16384 토큰, 198.5 tok/s, 5초
[strata] 도구 호출 작성 중: bash: 1210 / 최대 16384 토큰, 208.8 tok/s, 6초
[strata] 도구 호출 작성 중: bash: 1491 / 최대 16384 토큰, 219.4 tok/s, 7초
[strata] 완료: 8초 동안 1619 토큰 (219.9 tok/s) (중단, cancel=False), 전문가 캐시 95.1% 적중 (PCIe를 통해 라우팅된 전문가의 +1.1%)