GPU 언락(FP32 누적): 왜 튜링, 암페어, 에이다는 가능한데 블랙웰은 안 되는가, 그리고 오해들

언락되는 것들:

• FP32 누적을 사용하는 FP16 (튜링, 암페어, 에이다)

• FP32 누적을 사용하는 BF16 (암페어, 에이다; 튜링은 BF16 없음)

• TF32 (암페어, 에이다)

• FP32 누적을 사용하는 FP8 (에이다; 튜링과 암페어는 FP8 없음)

해당 레포에 있는 수치를 좀 보면: 4090의 FP32 누적 FP16/BF16은 165에서 331 TFLOPS(원시 명령어 속도)로, 3090 Ti의 BF16 GEMM은 87에서 157 TFLOPS로, 2080 Ti의 FP32 누적 FP16은 47에서 94 TFLOPS로 올라가. 실제 GEMM 작업에서는 전력 제한 때문에 2배까지는 안 나오고 좀 덜 올라(이건 아래에서 더 자세히 설명함).

왜 소비자용 블랙웰은 언락이 안 돼?

웃긴 건 블랙웰도 제한 방식이 똑같다는 거야: 똑같은 퓨즈, 똑같은 오버라이드 레지스터. 내 카드들로 직접 확인해 봤는데, 5090/5080/5070 Ti는 FP32 누적 퓨즈가 설정되어 있고, 6000 PRO/4000 PRO는 안 되어 있어. 그러니까 이것도 하드웨어 차이가 아니라는 거지.

바뀐 건 바로 문짝이야. Hopper부터, 그리고 소비자용 Blackwell까지, GPU의 신뢰 루트(root of trust)는 FSP(Foundation Security Processor)가 담당해. 이건 GPU 전원이 켜지자마자, 드라이버가 로드되기도 전에 자체 ROM에서 부팅되는 RISC-V 코어거든. Blackwell에서는 이렇게 돌아가:

• 악용할 만한 Booter 자체가 없어. 드라이버가 그냥 다음 펌웨어의 해시값과 RSA-3K 서명을 FSP에 던져주면, FSP가 검증하고 부팅하는 식이야. 리눅스 커널 문서에도 대놓고 적혀 있어: "SEC2 관여 없음, Booter ucode 없음, FWSEC-FRTS 단계 없음". 나도 직접 확인해 봤는데, NVIDIA의 615 드라이버 소스에서 Booter는 Turing, Ampere, Ada(TU102, TU116, GA102, AD102)에만 존재하고, RTX 50 VBIOS에는 예전 카드들에 있던 Falcon 펌웨어(FWSEC)가 아예 들어있지도 않아.

• Blackwell용으로 드라이버에 포함된 펌웨어는 암호화되어 있고, 디버그 이미지랑 프로덕션 이미지가 암호화된 바이트 단위까지 완전히 똑같아. Ada 페이로드는 복호화된 디버그 Booter를 분석해서 만들었지만, Blackwell에서는 그런 꼼수가 안 통해.

• NVIDIA는 가장 중요한 RISC-V 펌웨어에서 런타임 오류를 없애려고 SPARK(형식 검증이 가능한 프로그래밍 언어)를 쓴다고 밝혔는데, 예전 카드들에서 썼던 버퍼 오버플로우 같은 게 딱 그런 오류거든.

그러니까 지금 알려진 정보로는, 이건 불가능해. "영원히 불가능하다"는 건 아니지만, 훨씬 더 어려운 타겟을 뚫으려면 완전히 새로운 취약점이 필요할 거야. 그리고 만약 누군가 그걸 해낸다 해도, 잠금 해제 자체는 아마 예전이랑 똑같이 레지스터 몇 개 쓰는 수준일걸.

FP4는 영향 안 받지만, 나머지는 전부 다 해당돼(FP32 누적을 사용하는 FP16/BF16/FP8/TF32).

잠금 해제가 가장 효과적인 작업은?

내 6000 PRO랑 5090을 비교해서 몇 가지 예시를 들어줄게. 전자는 400W, 후자는 600W를 쓰는데, NVIDIA의 성능 제한 때문에 얼마나 차이가 나는지 봐봐.

• 학습: LoRA, 파인튜닝 같은 거.

  • 예시: 25GB VRAM을 꽉 채워서 diffusion LoRA를 학습시킬 때, 내 6000 PRO가 5090보다 70~90% 더 빨라.

• Diffusion: txt2img, txt2vid, img2img, img2vid, txt2aud 같은 모델들.

  • 예시: FP16 누적을 안 쓰는 내 6000 PRO가 5090보다 30~40% 정도 빨라. FP16 누적을 쓰면 15% 정도 더 빠르고.

• LLM의 Prefill: 여기도 타격이 커. 모델이 "int8"이나 "혼합 정밀도" 등으로 표시되어 있어도, GPU가 사용하는 추론 과정에는 FP32 누적 연산이 포함되거든(따로 안 쓰겠다고 설정하지 않는 이상).

  • 예시: vLLM에서 5090에도 들어가는 모델을 돌려보면 내 6000 PRO가 50~70% 더 빨라. llamacpp에서는 30~40% 정도 빠르고.

• 배치 사이즈가 큰 TG(Text Generation): 배치 사이즈 1인 TG는 거의 대역폭 싸움이라 FP32 누적 명령어를 쓰긴 해도 대역폭 요구량에 비하면 새 발의 피라 제한 요소가 안 돼. 근데 배치 사이즈를 2, 4, 8 이렇게 늘리면 다시 연산이 병목이 되면서 성능 차이가 확 벌어지지.

  • 예시: 위랑 결과는 똑같아.

잠금 해제가 아무 의미 없는 작업:

• 배치 사이즈 1인 TG: 거의 100% 대역폭 제한.

• 텐서 코어를 안 쓰는 CUDA 연산(일반 FP32).

• INT4/INT8 텐서 연산.

• Blackwell의 FP4 (애초에 제한 안 걸려 있음).

• FP16 누적을 사용하는 GEMM 연산 (근데 이건 별로 안 쓰임).

• 게임.

카드 잠금 해제하면 카드 타버리거나 뻑나는 거 아님? 짧게 말할게: 아님.

다시 말하지만, 아니라고. 제발 그만 좀 떠들어.

카드들은 여전히 최대 전력 제한(power limit)에 묶여 있어. 잠금 해제한다고 마법처럼 전력 제한을 200%씩 처먹는 게 아니라, 그냥 코어를 더 효율적으로 굴리는 것뿐이야.

설명 좀 해줄게. 예를 들어 300W로 전력 제한 걸어둔 3090이 있는데, 언락 전에는 250W밖에 안 쓰던 게 언락 후에는 300W를 다 쓴다고 치자. 이건 언락이 네 그래픽카드에 무슨 악질적인 짓을 해서가 아님. 그냥 카드가 이제야 제 성능을 발휘해서 일을 더 많이 하느라 전력을 제대로 끌어다 쓰는 것뿐이야. Ada 레포에 있는 실제 사례를 보면, 언락한 4090이 같은 GEMM 연산을 돌릴 때 순정 상태에선 313W 찍던 게 언락 후엔 346W까지 올라갔지만, 여전히 450W 제한 안쪽이었음.

만약 네가 최대 TDP보다 낮은 Y 전력에서 X만큼의 성능을 뽑다가, 최대 TDP까지 써서 X보다 더 높은 성능을 낸다면 당연히 카드는 더 뜨거워지겠지. 하지만 그것도 네가 설정한 전력 제한 범위 안이지, 그 위로 넘어가는 게 아님.

전력 스파이크? 그건 모든 카드에서 정상적인 현상이고, 카드를 한계까지 굴리면 더 자주 보일 수 있음. 이게 위험하냐고? 아니, NVIDIA가 권장하는 정격 용량의 파워를 쓰고 있다면 전혀 문제없음.

그럼 진짜 위험한 게 뭐냐고? 그건 카드 자체가 아니라 언락 과정에서 생기는 문제들임.

• 드라이버가 로드되기 전에 NVIDIA 펌웨어에서 익스플로잇을 실행하는 방식임. 중간에 뭔가 꼬이면 툴이 멈추는데, 이때는 재부팅만으로는 안 되고 전원을 완전히 껐다 켜야 함. 특히 노트북이나 멀티 GPU 환경이라면 레포에 있는 설명서 꼭 읽어봐.

• NVIDIA가 나중에 드라이버 업데이트로 이걸 막아버리거나, 아예 안티 롤백 퓨즈를 태워서 예전 부트로더를 못 쓰게 만들 수도 있음. 그렇다고 카드가 고장 나는 건 아니고, 그냥 그 길이 영원히 막히는 거지.

"근데 NVIDIA가 프로슈머용은 24시간 굴려도 되게 선별 칩(binning)을 쓰는데 소비자용은 아니니까 막아둔 거 아님??"

이것도 틀린 말임. NVIDIA는 소비자용 GPU랑 프로슈머용 GPU에 똑같은 다이(die)를 박아 넣음. FP32 누적 속도는 선별 칩이랑 아무 상관이 없음. 3090 Ti랑 A6000 스펙이 똑같은 거 보면 모르겠냐? 그냥 펌웨어가 읽어 들이는 퓨즈 값에 '절반 속도'라고 박혀 있는 것뿐임.

카드 언락한다고 금방 죽거나 다이가 깨지거나 하는 일은 절대 없음.

이 말을 계속 반복하는 것도 지치는데, 이런 댓글들 볼 때마다 하도 어이가 없어서 글을 안 쓸 수가 없었음.

게임 성능에 영향 있음?

현재까지 알려진 바로는 없음. NVIDIA가 DLSS나 FG에 FP32 누적 연산을 쓴다면 모를까, 그럴 리가 없거든. 거의 확실하게 FP16(혹은 그 이하 정밀도) 누적을 쓸 거임. 만약 FP32 누적을 썼으면 소비자용 카드에선 성능 드랍이 엄청났을 테니까.

내가 돌리는 모델이 Q8, FP6, 4bit, INT4 등등 FP32 언급이 없는데, 나도 영향받음?

그건 양자화 이름이 아니라 GPU가 실제로 연산을 어떻게 하느냐에 달림:

• 커널이 가중치를 FP16/BF16으로 디퀀타이즈하고 FP32 누적을 써서 텐서 코어에서 곱셈을 한다면, 너도 영향받는 거임. FP16/BF16 모델들이나 Marlin 커널을 쓰는 AWQ/GPTQ를 포함한 대부분의 vLLM 경로가 이 경우임 (가중치는 INT4지만 연산은 FP32 누적을 곁들인 FP16이니까).

• FP8(W8A8)도 FP32로 누적하니까 당연히 영향받음 (Ada랑 Blackwell).

• 커널이 정수 텐서 연산(INT8 x INT8)을 쓴다면 영향 없음. llama.cpp의 양자화된 matmul 상당수가 이런 식으로 돌아가는데, 그래서 llama.cpp가 vLLM보다 성능 차이가 적게 나는 거임.

• 어텐션(FlashAttention 같은 거)은 거의 항상 FP32 누적을 곁들인 FP16/BF16을 쓰기 때문에, 양자화 모델이라도 긴 문맥을 다룰 땐 성능 타격이 있음.

• Blackwell의 FP4(NVFP4/MXFP4): 영향 없음.

예시: 48GB로 개조한 4090에서 추론 서버에 양자화된 MoE 모델을 돌려봤는데, 언락 후에도 성능 향상이 전혀 없었음(8K 프리필에서 0.98배). 반면에 FP16/BF16 matmul은 성능이 두 배가 됐지.

일단 여기까지임. 더 궁금한 거 있으면 물어봐!