r/LocalLLaMA•약 4시간 전•47•23
느린 것이 똑똑한 것이고, 똑똑한 것이 빠른 것이다
Slow is smart and smart is fast
핵심 요약
LLM 사용 시 토큰 생성 속도보다 실제 작업 완료 효율과 정확도가 더 중요하다는 경험담입니다.
- 성능 최적화 — 토큰 생성 속도보다 작업 효율이 중요함
- 모델 지능 — 과도한 최적화는 모델의 추론 능력을 저하시킴
- 실제 작업 — 속도보다는 정확한 결과 도출이 시간 절약에 유리함
- 벤치마크 한계 — 속도와 효율을 동시에 고려하는 지표가 부족함
많은 사람한테는 당연한 소리일 수도 있는데, 내가 코딩용으로 Qwen 3.8 27B나 Flash-Next를 쓰기 시작했을 때 처음엔 무조건 tok/sec(초당 토큰 수) 뽑아내는 데만 혈안이 돼 있었음. 5090에 64GB 램 쓰고 있는데, Flash-Next 테스트하려고 Strata 처음 깔았을 때 IQ3_XXS 고르고 실험적인 속도 최적화 옵션도 당연히 다 켰거든. 토큰 속도 미친 듯이 나오면 장땡 아니냐?
근데 결과는 처참했음. 토큰은 존나 빨리 나오는데, 막상 에이전트한테 실무 시키니까 성능이 영 별로더라고. 맨날 쓸데없는 생각만 존나게 하고, 자기 의심에 빠져서 허우적대기 일쑤였음. 생각은 빠른데 효율은 개판이었던 거지.
그래서 실험적 최적화 다 끄고 IQ3_S로 바꿨더니, 실제 작업 속도는 오히려 이게 더 빠름. 초당 토큰 수는 좀 줄었어도, 나오는 토큰 하나하나가 훨씬 알짜배기라 삽질 안 하고 바로 일을 끝내버리거든. 덕분에 컨텍스트 소모도 덜하고 컴팩션도 줄어들어서 개꿀임.
추론 레벨별로 다 테스트해 본 건 아니고(대부분 미디엄으로 테스트함), 지금 Deepseek 4.1-Flash용 IQ1 Coder랑 비교도 해보는 중임. 이건 초당 토큰 속도는 확실히 훨씬 느린데, 내가 진짜 중요하게 생각하는 '시간당 성공 작업량' 면에서 어떤지는 아직 잘 모르겠음.
