RTX 3080 20GB, ReBAR 및 P2P 잠금 해제 성공! 프롬프트 처리 속도 70% 향상

3060에서는 아주 잘 작동해. 3090은 하나밖에 없어서 그 경험을 보증할 수는 없네. 서브레딧에서 엇갈린 결과들을 들었거든. 내 개인적인 경험으로는 카드가 빠를수록 큰 이득을 보려면 PCIe 인터페이스도 빨라야 해(사실 레이턴시 문제라는 건 알지만). 그리고 내 경우엔 카드를 4개 이상 써도 성능 저하가 거의 없었지만, 처음 4개만큼의 이득은 없었어. 모델의 활성 파라미터 수가 적으면 가끔 tp2pp2가 더 나은 성능을 보여주기도 해. 이건 하드웨어에 너무 기대를 걸고 구매할 만한 건 아니지만, 이미 하드웨어가 있다면 시도해 볼 가치는 있어.

와, 8k 프롬프트에서 115% 펌핑은 진짜 미쳤네. 지금 3090 하나로 버티고 있는데, 항상 3080 20GB는 애매한 위치라고 생각했거든. 근데 듀얼 구성에서는 상황을 완전히 뒤집어버리네. 디코드 성능 향상이 거의 없다는 건 이해가 가. 토큰 생성 단계에 들어가면 병목 현상이 심해지니까. 그래도 전체 코드베이스를 컨텍스트에 계속 밀어 넣는 에이전트 코딩 작업에서는 프롬프트 처리 속도가 전부지. 이제 저렴한 3080 하나 더 찾아봐야겠어. 내 구형 보드의 PCIe 3.0 x16 정도면 크게 문제없겠지.

디코드 성능 향상이 거의 없다는 건 이해가 가. 토큰 생성 단계에 들어가면 병목 현상이 심해지니까.

맞아, 연산량은 상대적으로 적게 필요하고 GPU는 대부분 메모리 제한적이기 때문이야. 하지만 261k에서 안정적인 이득이 나타나는 걸 볼 수 있지. 디코드 연산 부하가 프롬프트 길이에 따라 증가한다고 생각해서, 4개 카드 구성을 사용하고 여력이 된다면 256k에서 1M 토큰 사이에서 점점 더 큰 개선을 볼 수 있을 거라고 예상해.

고마워! 스레드리퍼를 얻고 PCIe 연결을 제대로 활용하게 되면서 다양한 엔진, 병렬 구성, 모델들을 비교하는 큰 글을 쓰는 걸 꿈꿔왔어. 하지만 현실에서 여러 일들이 겹쳐서(다 좋은 일들이니 걱정 마), 아쉽게도 전부 테스트해 볼 시간을 내기가 어렵네. 언젠가 꼭 해볼 수 있으면 좋겠다.

이미 PCIe에 RAM을 설치할 수는 있어. 서버용으로 그런 카드들이 존재하거든. 하지만 AI에는 전혀 의미가 없어. 왜냐하면 일반적인 GPU에서 PCIe 전송 속도는 VRAM 속도의 10%도 안 되거든. 예를 들어, 이 글의 3080 20GB는 700GB/s 메모리를 가지고 있는데, 작동 가능한 최상의 연결인 PCIe 4.0 x16조차 겨우 31GB/s거든. PCIe를 통한 RAM은 CPU에 연결된 RAM보다도 느려. 하지만 일부 카드는 메모리를 두 배로 늘릴 수 있어(예를 들어 3090에 48GB를 다는 건 전기적으로 가능하지만, 현재로서는 그걸 사용할 수 있게 해주는 vBIOS가 없어). 그러니 매일 뉴스를 확인하고, 새로운 모델이 시장에 나오자마자 가격이 오르기 전에 첫날 주문을 할 수 있기를 바라야지. 아니면 선전에 직접 가서 GPU를 사는 방법도 있어, 거기가 훨씬 싸거든.

이 카드들 이제 가성비 끝판왕 아니냐? 3090 성능의 90%를 3090 가격의 50%로 뽑아내는 거잖아?