MI50 GPU 1개에서 2배 속도 향상 (19.4 -> 38.1 tk/s) - 추론 최적화 실험

원작자는 아니지만, 여전히 논리를 따라가기가 어렵네. draft MTP에서는 draft 모델이 메인 모델보다 충분히 빨라서 동시에 시작해도 앞서 나갈 수 있잖아. 같은 모델을 2개 슬롯으로 돌리면 속도가 똑같으니까, 앞서 나갈 수 있는 유일한 방법은 한쪽을 한 번 멈추는 것뿐이야. 추측이 맞더라도 토큰 1개를 생성하는 데 걸리는 실제 시간은 똑같아. 메인 모델을 멈췄으니까. 추측이 틀리면 메인 슬롯이 다시 멈춰야 하고

f32 '숫자' 하나에 8비트 값 4개(A, B, C, D)가 있다고 치자.

D는 첫 번째 추측이고, 토큰(d)을 예측해.
C는 이 값(d)을 읽어서 다음 토큰(c)을 예측하고,
B는 C의 예측(c)을 읽어서 다음 토큰(b)을 예측해.
A는 최종 판결을 내리지.

'웜업'하는 데 토큰 3개가 필요하지만, 그 뒤로는 그냥 흐름이야. 각 단계마다 D는 A보다 3토큰 앞서 있어... 그 시점부터 A가 최종 판결을 내리지만, 우리는 그 시점부터 전부 동시에 계산하고 있는 거지.

이 논리대로라면 3번의 패스를 수행하고 나서 타이머를 시작한 거잖아. 결국 모든 게 끝나고 나면 똑같은 횟수의 패스가 수행된 건데, 이득은 어디서부터 카운트를 시작하느냐에서 오는 거야. 이건 마치 마트에 갈 때 주차장에 차를 댄 순간부터만 시간을 재는 거랑 똑같아. 운전해서 가는 건 '웜업'이니까 빼는 거지. A가 승인 판결을 내리지 못하면 어떻게 돼? 다시 '웜업'을 해야 하잖아. 그건 메인 모델이 다른 3개가 앞서 나가길 기다리는 꼴이지. 타이머를 돌리는 동안

근데 나중에 예측할 토큰을 위한 첫 번째 레이어의 계산은, 먼저 예측된 토큰의 마지막 레이어 출력값에 의존하는 거 아님...?

일단 게시물은 삭제했음. llama.cpp 커널 작업 끝나면 내 방식 적용했을 때랑 안 했을 때 실험 영상 찍어서 비교 영상 올릴 예정임.

맞는 말임. 지금은 그냥 엔진 튜닝해서 차가 얼마나 빨리 나갈 수 있는지 보는 중임. 지금까지는 퀀트 "인스턴스" 하나만 돌릴 때보다 빠름.

너 지금 사람들이 무슨 말 하는지 이해 못 하고 있어. 이건 사소한 문제가 아니라 근본적인 논리가 틀린 거야. 4배 빠른 게 아니라 똑같은 속도인데, 토큰 하나당 4번씩 계산하고 있는 거라고. 예를 들면:

보통:

1. A
2. B
3. C
4. D
5. E
6. F
7. G
8. H

네 방식:

1. A
2. A B
3. A B C
4. A B C D
5. B C D E
6. C D E F
7. D E F G
8. E F G H

H까지 가는 데 여전히 8번의 패스가 필요해. 네 벤치마크는 그냥 고유 토큰이 아니라 모든 토큰을 다 세고 있는 것뿐이야.