GPU를 장만하세요, RAM 부족을 해결하려고 꼼수 부리는 건 시간 낭비입니다

모델 나름이지. 내가 돌리는 모델들은 대부분 20tk/s에 500-1500 pp 정도 나오고, 아직 성능 더 끌어올릴 여지도 많아 :) 그래도 훨씬 큰 모델들을 돌릴 수 있다는 건 진짜 좋음.

네가 만드는 모든 게 데이터로 수집돼서 팔린다는 점만 빼면 말이지. 로컬이 답이다.

CPU에서 dense 모델 돌리는 건 별로일 텐데. MoE가 그나마 좀 낫지.

"모든 걸 메모리에 올릴 수 있을 만큼 VRAM을 확보해라"

27B는 쉽지, 397B는 좀 빡세고.

그런 마음가짐이면 더 빡세지.

😂

도대체 3090 2대로 어떻게 그런 속도가 나오는 거임?? 난 50 t/s만 나와도 감지덕지인데. 나도 27b q8 쓰고 있고 당연히 전부 VRAM에 올렸음. 컨텍스트 262k 다 쓰려고 q8_0 캐시 썼는데, 컨텍스트 반만 써도 너 같은 속도는 안 나옴. 제발 비결 좀 알려줘!! 속도 2배면 진짜 게임 체인저인데. 아, 그리고 mtp 써서 pp 속도도 반토막 난 상태임(mtp 쓰기 전엔 t/s가 더 낮았음).

동감함. 나도 3090 두 개 쓰는데 이 정도 성능이면 진짜 대만족일 듯.

진짜 속도 좀 올려보려고 별짓 다 해봤음. 지금까지는 ubatch 1014가 조금 도움은 됐는데 큰 차이는 없더라. 더 높이면 pp에는 도움 되겠지만 컨텍스트를 줄여야 하는데, 내 사용 사례에선 최대 컨텍스트가 엄청 중요해서 말이지.