r/LocalLLaMA•약 5시간 전•9•15

Tenstorrent 써보신 분 계신가요?

Has anyone used tensortorrent?

핵심 요약

Tenstorrent 하드웨어 대여 및 접근성이 매우 떨어져 사용자들이 불만을 표하고 있습니다.

접근성 문제 — 대여 절차가 매우 복잡하고 응답이 느려 테스트가 거의 불가능함
소프트웨어 생태계 — 미성숙한 소프트웨어와 부족한 프레임워크 지원으로 성능이 기대에 미치지 못함
하드웨어 경쟁력 — VRAM 부족과 메모리 대역폭 문제로 인해 NVIDIA 대비 이점이 부족함
구매 회의론 — 소규모 테스트조차 어려운 상황이라 실사용 및 구매를 권장하지 않는 분위기임

GPU 간 통신 채널이 제대로 구현된 유일한 회사라 카드 하나 사볼까 싶었거든. 그래서 클라우드에서 먼저 써보면서 커스텀 코드 좀 돌려보려고 했지.

근데 시발 이게 불가능하네. tesnortorrent 얘네 말고는 빌려주는 곳도 없는데, 플랫폼이 하도 개판이라 정떨어져서 다 때려치우고 싶더라. GPU 하나 빌리려고 이메일 보내서 2주 동안 실랑이했는데 아직도 접근 권한을 안 줌.

얘네 뭐 사업 접은 거냐? 일반인들한테 카드 팔 생각이 조금이라도 있으면 최소한 대여 정도는 쉽게 해줘야 하는 거 아니냐?

원문

커뮤니티 목록

r/LocalLLaMA•약 5시간 전•9•15

Tenstorrent 써보신 분 계신가요?

Has anyone used tensortorrent?

핵심 요약

Tenstorrent 하드웨어 대여 및 접근성이 매우 떨어져 사용자들이 불만을 표하고 있습니다.

접근성 문제 — 대여 절차가 매우 복잡하고 응답이 느려 테스트가 거의 불가능함
소프트웨어 생태계 — 미성숙한 소프트웨어와 부족한 프레임워크 지원으로 성능이 기대에 미치지 못함
하드웨어 경쟁력 — VRAM 부족과 메모리 대역폭 문제로 인해 NVIDIA 대비 이점이 부족함
구매 회의론 — 소규모 테스트조차 어려운 상황이라 실사용 및 구매를 권장하지 않는 분위기임

GPU 간 통신 채널이 제대로 구현된 유일한 회사라 카드 하나 사볼까 싶었거든. 그래서 클라우드에서 먼저 써보면서 커스텀 코드 좀 돌려보려고 했지.

얘네 뭐 사업 접은 거냐? 일반인들한테 카드 팔 생각이 조금이라도 있으면 최소한 대여 정도는 쉽게 해줘야 하는 거 아니냐?

주요 댓글

r/localllama

Tenstorrent의 폐쇄적인 대여 정책과 미성숙한 소프트웨어 생태계에 대한 비판이 주를 이루며, 하드웨어 특성을 이해하지 못한 엉뚱한 대안 제시가 지적되기도 했습니다.

Tenstorrent를 추론용으로 사용하는 것에 대한 리뷰나 영상들이 좀 돌아다니는데, 결론은 하나임: 신경 쓰지 마라.

소프트웨어 생태계가 미성숙하고 성능도 비슷한 가격대의 GPU와 별반 다를 게 없음.

개인적으로 Tenstorrent는 더 많은 VRAM을 제공하지 않았고, vLLM 같은 인기 추론 프레임워크의 전용 포크를 제공해 하드웨어 스택에서 로컬 추론을 쉽고 빠르게 설정할 수 있게 하지 않아서 기회를 놓쳤다고 봄.

그들은 원래 목적, 즉 파이프라인 모델에서 배치를 실행하는 클러스터용으로는 충분한 VRAM을 가지고 있음. 배치 1 추론용 카드로 설계된 게 아님.

하지만 그들과 업계 전체가 예측하지 못한 건 바로 희소성(sparsity)임. DDR5/LPDDR5 채널에 핀을 할당했어야 했음. NVIDIA가 가장 먼저 대응했고, 오직 Vera Rubin만이 GPU에 LPDDR5 메모리 풀에 대한 전체 대역폭 액세스를 제공함.

만약 그들이 이걸 예상했더라면 배치 1에서도 더 나은 성능을 냈을 거임.

나도 Tenstorrent에 관심 있음. QuiteBox는 다 팔렸던데. 이거 가진 사람 있으면 제발 피드백 좀 줘.

예전 QuietBox는 12,000달러짜리 박스에 512GB RDIMM DDR5가 들어있었지. 그때가 좋았는데.

어떤 네오 클라우드 제공업체가 Tenstorrent로 추론 서비스를 제공한다는 뉴스를 본 기억이 있는데, 대여도 해주는지는 잘 모르겠네.

지금은 아무도 제공 안 함. 수요가 아예 없는 것 같음.

수백 장씩 사는 게 아니라면 아마 우선순위에서 밀릴 테니 너무 스트레스받지 말고 며칠마다 계속 연락해 봐. 줌이나 슬랙 같은 거 있으면 어떻게든 들어가서 진지하다는 걸 보여주려고 해봐. 테스트나 실험용으로는 대여가 100% 맞긴 한데, 걔네는 분명히 비싼 다개월 계약을 밀어붙이려고 할 거야. 정말로 거기에 묶이고 싶은 거 맞아? 가치가 있을 수도 있겠지만, 나라면 프로토타입 제품이 있다면 그냥 NVIDIA 카드를 빌릴 것 같아. 그리고 만약 이미 돈을 벌기 시작했다면 그때 시도해 봐.

그냥 카드 한두 장 빌려서 하루 정도 테스트해 보고 얼마나 잘 돌아가는지 확인하고 싶었던 것뿐임. 정보가 아예 없으니까.

-5

잠깐, 헷갈리는데. 구매하기 전에 GPU를 테스트하려고 GPU가 달린 VM을 빌리고 싶다는 거야?

A6000, H100, L40, A100 같은 걸 말하는 거야?

만약 그렇고 그냥 테스트용으로 빌리고 싶은 거라면, 난 Hyperstack을 쓰는데 컴퓨팅 자원 빌리기엔 꽤 괜찮아.

만약 내가 질문을 잘못 이해해서 네가 원하는 게 이게 아니라면 미안.

???

작성자는 전용 텐서 가속기를 생산하는 하드웨어 기업인 Tenstorrent에 대해 물어본 거잖아(작성자가 말한 것과 달리, 걔네는 GPU를 파는 게 아님. 꽤 커스텀된 제품들이지).

원문r/LocalLLaMA