DFlash, Qwen3.6 27B 모델 속도를 품질 저하 없이 2.2배 향상

제 댓글에 답글 답니다: llama.cpp에서 커맨드 라인 파라미터는 --draft-p-split이고, 기본값은 0.1인 것 같습니다. 즉, 0으로 설정하지 않는 한 초안 모델이 어떤 토큰이 선택될지에 영향을 미친다는 뜻이죠.

그게 그렇게 작동하는 방식이 아니라고 90% 확신함. 내 생각에 p-split은 드래프트 모델이 실제로 '잠재적' 토큰을 생성하는 방식에 더 가까운 것 같음.

드래프팅할 때: 만약 해당 토큰에 대한 두 번째로 좋은 추측값이 임계값보다 높으면, 두 개의 확률적 분기로 '분할(split)'됨. (두 개 이상일 수도 있지만 잘 모르겠음). 이건 생성되는 각 토큰마다 일어날 수 있음. 마지막에 이 분기들은 메인 모델에 의해 한 번에 검증되고, 그중 하나가 수락되거나 거부됨. 하지만 토큰들은 여전히 정확히 일치해야 함...

아마 네 말이 맞을 거야. 내 이해가 LLM hallucination 때문에 좀 어긋났던 것 같네.

이론상 그래야 한다는 걸 부정하는 게 아닙니다. 지난 몇 년간 다양한 추측 디코딩 기법에 관한 논문을 십여 편 넘게 읽었으니 이론은 잘 압니다. 제가 말하는 건, 현재 사용 가능한 대부분의 추측 디코딩 옵션은 모델이 스스로 출력할 결과와 차이가 있다는 겁니다. 특히 기반 모델이 여러 출력 헤드를 갖도록 훈련되지 않았을 때는 더더욱요.

사람들이 비추를 날리든 말든 상관없습니다. 저는 고정 시드(seed)를 사용해서 나란히 돌려봤거든요(그래서…

토큰이 원래 해야 할 일을 못 한다면 지연 시간이나 t/s는 아무 쓸모가 없습니다.

제 테스트는 코딩과 언어 작업(문법, 단어 의미 등, 텍스트 번역 아님) 모두에서 진행되었습니다. 둘 다 질적인 차이가 존재합니다. MTP는, 적어도 모델이 그 용도로 훈련되지 않았을 때는 객관적인 차이를 만들어냅니다. MTP 버전은 비 MTP 출력에는 있는 것들이 빠져 있는 경우가 있습니다. 이건 모델의 낮은 양자화 버전을 돌리는 것과 거의 비슷합니다. 예: 의미와 사용법에 대해 물어볼 때…

더 이상 드릴 말씀이 없네요. 틀렸다고 하는 게 아닙니다. 맞을 수도 있겠지만, 적어도 이론상으로는 성능 차이가 특정 구현 방식 때문이거나 버그일 가능성이 더 높습니다. 만약 대중적인 구현에 영향을 미치고 있다면 조사해볼 가치가 있겠죠. 정확히 어떻게 테스트를 진행하시나요? 하드웨어, 추론 엔진, 모델은 무엇인가요?

"수용(accept)이 모델이 생성했을 것과 같다는 뜻은 아니다"라니. 이거 내가 이전 댓글에서 말했던 건데 비추 폭탄 맞고 있네.

난 MTP 헤드를 갖도록 명시적으로 학습되지 않은 모델들에 대해 말한 거라고 단서를 달았었어. 그런 모델들은 모든 예측 토큰이 같은 분포에서 나오거든.