r/LocalLLaMA•약 5시간 전•490•58

DeepSeek, 고성능 대규모 추론 프레임워크 'DeepInfer' 오픈소스 공개!

Deepseek released DeepInfer - Open Source high-performance, large-scale inference framework for DeepSeek models!

핵심 요약

DeepSeek이 자사 모델을 위한 고성능 추론 프레임워크인 DeepInfer를 오픈소스로 공개하며 커뮤니티의 큰 관심을 받고 있습니다.

DeepInfer 공개 — DeepSeek 모델에 최적화된 고성능 대규모 추론 프레임워크가 출시됨
하드웨어 지원 — NVIDIA GPU와 Huawei Ascend NPU를 지원함
생태계 확장 — 프로토콜 변환 및 모델 출력 파싱 라이브러리를 포함하여 API 연동을 지원함
시장 경쟁 — NVIDIA 독점 체제에 대한 대안으로 건강한 경쟁을 기대하는 반응이 많음

github.com

원문 사이트로 이동

gufo, halogen, strixite, Strata 같은 커뮤니티에서 만든 기존 커스텀 엔진들의 '비법 소스'를 배울 수 있어서, 공부하기에 진짜 미친 수준으로 좋네.

원문

커뮤니티 목록

r/LocalLLaMA•약 5시간 전•490•58

DeepSeek, 고성능 대규모 추론 프레임워크 'DeepInfer' 오픈소스 공개!

Deepseek released DeepInfer - Open Source high-performance, large-scale inference framework for DeepSeek models!

핵심 요약

DeepSeek이 자사 모델을 위한 고성능 추론 프레임워크인 DeepInfer를 오픈소스로 공개하며 커뮤니티의 큰 관심을 받고 있습니다.

DeepInfer 공개 — DeepSeek 모델에 최적화된 고성능 대규모 추론 프레임워크가 출시됨
하드웨어 지원 — NVIDIA GPU와 Huawei Ascend NPU를 지원함
생태계 확장 — 프로토콜 변환 및 모델 출력 파싱 라이브러리를 포함하여 API 연동을 지원함
시장 경쟁 — NVIDIA 독점 체제에 대한 대안으로 건강한 경쟁을 기대하는 반응이 많음

github.com

원문 사이트로 이동

gufo, halogen, strixite, Strata 같은 커뮤니티에서 만든 기존 커스텀 엔진들의 '비법 소스'를 배울 수 있어서, 공부하기에 진짜 미친 수준으로 좋네.

주요 댓글

r/localllama

DeepInfer 공개에 대해 중국 내 제한적 접근성과 화웨이 NPU 활용 가능성, 그리고 수익성에 대한 다양한 의견이 오가고 있음.

Ascend 플랫폼을 사용할 경우 ascend를 대신 사용하세요

DeepInfer를 실행하는 환경에서 내보내기 상태를 유지하세요

export DEEPINFER_ACCELERATOR=nvidia
./build.sh

Nvidia는 이제 끝장났네. 앞으로 어떤 변화가 올지 정말 기대됨.

더 저렴한 GPU, 램, 그리고 다른 PC 부품들이 나오길 간절히 바람. Nvidia와 경쟁하는 제조사들 모두 행운을 빈다.

슬프게도 ascend가 GPU 가격을 낮춰주진 않을 거야.

일단은 중국 거주자들만 쓸 수 있네. 지난 10년간 무역 제재를 견뎌왔는데, 이제 와서 서방 국가들한테 똑같이 갚아주지 않는다면 그게 더 놀라운 일이지.

싼 건 없음. 다 시장 가격이지.

Opus 5.5가 이거 못 보게 해라! Ascend 지원 기능을 삭제해버릴지도 모름 😂😂

-17

이제 착한 대만 vs 나쁜 중국의 구도가 된 건가!😅

좀 더 일반적인 관점에서 보자고. 이건 건강한 경쟁이고, 99.9%의 사람들이 동의하겠지만 지금 이 분야에 절실히 필요한 거야.

지원 하드웨어:

NVIDIA SM100 GPU
Huawei Ascend 950 NPU

-32

이건 처음 듣는 소린데... 화웨이 카드로 AI를 돌릴 수 있다고? 들어본 적도 없는데, GPU가 아니라 NPU라며? 구글링 좀 해봐야겠네.

이번 릴리즈에는 두 개의 레포가 포함됨:

https://github.com/deepseek-ai/DeepInfer: DeepSeek 모델을 위한 고성능 대규모 추론 프레임워크.
https://github.com/deepseek-ai/deepseek-recipe: 추론 백엔드를 다양한 API 형식(Chat Completions, Messages, Responses 등)에 연결하기 위한 프로토콜 변환 및 모델 출력 파싱 라이브러리(Rust로 작성되었으며 Python 바인딩 포함).

게시물 보니까 GPU당 시간당 38달러를 번다고 하던데. 이걸로 OAI나 Ant의 매출을 추론해 볼 수 있을까?

원본 게시물: https://zhuanlan.zhihu.com/p/2095560295930508953

원문r/LocalLLaMA

지금 같이 볼 만한 글

r/LocalLLaMA•1일 전

inclusionAI/Ming-3.0-audio-flash · 허깅페이스

오디오와 텍스트를 동시에 처리하는 네이티브 오디오-언어 모델 Ming-3.0-audio-flash가 공개되었습니다.

8524

Reddit 원문

r/OpenAI•약 22시간 전

마이크로소프트 평가 업데이트에서 포착된 GPT-6.1 Terra

마이크로소프트 평가 업데이트에서 GPT-6.1 Terra 모델이 발견되어 사용자들의 다양한 반응이 이어지고 있습니다.

27632

Reddit 원문

r/ChatGPT•약 16시간 전

AI 에이전트 관련 게시물이 130만 조회수를 기록한 뒤 레딧에서 이유 없이 삭제됨

통제 불가능한 AI 에이전트 연구를 다룬 게시물이 레딧의 자동 필터로 삭제되자, 사용자들이 검열과 플랫폼의 불투명한 운영 방식을 비판하고 있습니다.

My post about rogue AI agents got 1.3M views here and then reddit just deleted it. no reason given

86189

Reddit 원문

커뮤니티 전체 보기

원문

주요 댓글

r/localllama

DeepInfer 공개에 대해 중국 내 제한적 접근성과 화웨이 NPU 활용 가능성, 그리고 수익성에 대한 다양한 의견이 오가고 있음.

Ascend 플랫폼을 사용할 경우 ascend를 대신 사용하세요

DeepInfer를 실행하는 환경에서 내보내기 상태를 유지하세요

export DEEPINFER_ACCELERATOR=nvidia
./build.sh

Nvidia는 이제 끝장났네. 앞으로 어떤 변화가 올지 정말 기대됨.

더 저렴한 GPU, 램, 그리고 다른 PC 부품들이 나오길 간절히 바람. Nvidia와 경쟁하는 제조사들 모두 행운을 빈다.

슬프게도 ascend가 GPU 가격을 낮춰주진 않을 거야.

싼 건 없음. 다 시장 가격이지.

Opus 5.5가 이거 못 보게 해라! Ascend 지원 기능을 삭제해버릴지도 모름 😂😂

-17

이제 착한 대만 vs 나쁜 중국의 구도가 된 건가!😅

좀 더 일반적인 관점에서 보자고. 이건 건강한 경쟁이고, 99.9%의 사람들이 동의하겠지만 지금 이 분야에 절실히 필요한 거야.

지원 하드웨어:

NVIDIA SM100 GPU
Huawei Ascend 950 NPU

-32

이건 처음 듣는 소린데... 화웨이 카드로 AI를 돌릴 수 있다고? 들어본 적도 없는데, GPU가 아니라 NPU라며? 구글링 좀 해봐야겠네.

이번 릴리즈에는 두 개의 레포가 포함됨:

https://github.com/deepseek-ai/DeepInfer: DeepSeek 모델을 위한 고성능 대규모 추론 프레임워크.
https://github.com/deepseek-ai/deepseek-recipe: 추론 백엔드를 다양한 API 형식(Chat Completions, Messages, Responses 등)에 연결하기 위한 프로토콜 변환 및 모델 출력 파싱 라이브러리(Rust로 작성되었으며 Python 바인딩 포함).

게시물 보니까 GPU당 시간당 38달러를 번다고 하던데. 이걸로 OAI나 Ant의 매출을 추론해 볼 수 있을까?

원본 게시물: https://zhuanlan.zhihu.com/p/2095560295930508953

원문r/LocalLLaMA