We might have a winner with the upcoming N1X
Nvidia의 차세대 N1X 프로세서의 메모리 대역폭과 AI 모델 구동 성능에 대한 커뮤니티의 회의적인 반응.
16채널 DDR5 메모리는 양쪽의 장점을 모두 가져다줄 거야. 메모리 대역폭은 500GB/S보다 클 거야.
수정: LPDDR5가 16비트 폭이라는 걸 몰랐네, GB10이랑 똑같은 상황이군. 넘어가자.
Windows on ARM의 성능과 최적화에 대한 회의적인 시각이 지배적임.
Windows on ARM이 올라가면 어떤 CPU든 다 망하게 되어 있지.
사용하는 메모리 속도에 따라 달라지겠지만, 이게 DGX Spark 기반이라 승자라고 보긴 어려움. (표 데이터)
LPDDR5X 등급 N1X (256-bit) N1 (128-bit)
7500 MT/s 240 GB/s 120 GB/s
8000 MT/s 256 GB/s 128 GB/s
8533 MT/s 273.1 GB/s 136.5 GB/s
9600 MT/s 307.2 GB/s 153.6 GB/s
16채널치고는 속도가 너무 느린 거 같은데
아차, 정정해줘서 고마워! LPDDR5가 16비트 폭이라는 걸 깜빡하고 잠시 신났었네, 넘어가자
파일 복사하거나 데이터 작업하기엔 좋은 속도네. AI 모델 돌리기엔 쓸모없음.
내 M5 Pro(307GB/s)는 AI 모델 돌리는 데 꽤 유용한데, 무슨 소리야?
내 7900XTX(960GB/s)는 24GB VRAM 안에 들어가는 AI 모델 돌릴 때 꽤 유용해. 더 큰 모델을 원했다면(통합 메모리 128GB 가정 시) M5 Max 40코어(614GB/s)에 돈 좀 썼어야지.
M5 Max도 고려해봤는데, M5 Pro보다 두 배 빠른 것도 아니더라고(oMLX의 방대한 성능 데이터 참고). 기껏해야 1.5~1.75배 정도? 근데 전력 소모는 최소 두 배는 높고, 스로틀링 안 걸리게 하려면 16인치 맥북 프로 섀시가 필수야. 사양할게. 64GB 대비 128GB가 주는 이점은 Qwen3.6 27b 같은 모델보다 이미 성능이 떨어지는 중형 MoE 모델 몇 개 더 돌릴 수 있다는 것뿐이야. 더 큰 모델들은 돌아가게 하려면 뇌를 파내야(lobotomized) 할걸.
진짜 느려.. 애플 실리콘이 AI를 가볍게 쓰기엔 메모리 접근성도 좋고 속도도 어느 정도 괜찮아서 멋진 건 맞는데, 생산적으로 쓰기엔 여전히 너무 느려. 전문적인 추론(서비스 제공 같은 거)은 절대 못 돌릴걸. M5의 300GB/s를 생각해보면 5090은 1700GB/s야. 3090이나 4090은 1000GB/s고. 맥이 더 큰 (공유) VRAM을 가졌다고 우길 순 있겠지만, 뭘 돌리든 힘들 거야.
데이터 센터 운영하려는 것도 아니고, 난 LLM으로 꽤 생산적으로 작업하고 있어. 모든 걸 한 번에 해결하거나 토큰을 쏟아부어서 문제를 풀려는 것도 아니고. 커피숍에서 70와트 정도 쓰면서 30~35b 모델을 8비트로 아주 잘 돌리고 있는데... 307GB/s가 AI 모델 돌리는 데 '쓸모없다'고 했지? 난 맨날 돌리는데.
MoE 모델 말하는 거지? 35B dense 모델은 맥에서 이론상 가능할지 몰라도 말이 안 돼. 현재 100GB VRAM 안에서 돌아가는 로컬 모델 중 최고인 27B Qwen 3.6 모델도 너무 느려서 120k 컨텍스트를 채우는 데 M5 Pro로 2분은 걸려. 돌릴 수는 있겠지만, 생산적으로 쓸 수 있을까? 의문이네. 작은 작업용으론 좋지. 하지만 생산적인 워크플로우에선 레이턴시에 막힐걸. 비교하자면, 3090을 쓴 11년 된 컴퓨터가...
다들 바이브 코딩 프로젝트 한다고 LLM에 120k 토큰씩 스팸처럼 넣는 것도 아니고, 컨텍스트 사이즈 커지면 성능 떨어지는 이런 작은 모델들로 그렇게 할 이유도 없지. 난 속도보다 결과물의 품질을 더 중요하게 생각해서, 모든 걸 8비트 MLX로 돌릴 수 있다는 게 아주 좋아. 컨텍스트 사이즈가 얼마든 RAM 부족할 일도 없고. 그 3090은 Qwen3.6 27b 돌리려면 컨텍스트 확보를 위해 Q4/Q5 양자화가 필수일 텐데, 사양할게.
120k는 매우 낮은 거야. 그냥 예시를 든 거지. 전문적인 환경에선 260k에 가깝게 쓰고 싶어 할 테니까. 그리고 3090은 당연히 적절한 양자화를 쓰지. 품질이 FP랑 거의 동일해서 문제 될 거 없어.
적어도 N2X는 LPDDR6랑 같이 나오면 엄청나겠네.
승자라니, 7천 달러씩 안 하면 인정이지.
GPT-3 서비스 종료에 대한 아쉬움과 함께, 기업의 일방적인 모델 폐기 정책을 비판하며 로컬 모델 보존의 중요성을 강조하는 반응들.
GPT-3 서비스 종료에 대한 아쉬움과 함께, 기업의 일방적인 모델 폐기 정책을 비판하며 로컬 모델 보존의 중요성을 강조하는 반응들.
ChatGPT의 과도한 의료 상담 회피와 병원 방문 권유를 풍자하는 밈에 대한 공감과 논쟁.
ChatGPT의 과도한 의료 상담 회피와 병원 방문 권유를 풍자하는 밈에 대한 공감과 논쟁.
Anthropic의 모델이 그동안 과도하게 사용하던 em dash(—)를 줄이는 등 세밀한 개선을 이뤄낸 것에 대한 사용자들의 긍정적인 반응입니다.
Anthropic의 모델이 그동안 과도하게 사용하던 em dash(—)를 줄이는 등 세밀한 개선을 이뤄낸 것에 대한 사용자들의 긍정적인 반응입니다.