보라! 아마도 가장 야매스러운 로컬 AI 서버일걸:

핵심 요약

96GB VRAM을 갖춘 3개의 Tesla V100 기반 야매 로컬 AI 서버 구축기.

일명: 야매의 화신

몇 달간의 고생 끝에 드디어 작동하는 세팅을 완성했다.

멀티 Tesla 세팅을 돌리는 데는 여러 가지 기벽이 있다. 일단 제대로 돌아가게 만들고 나서 경험담을 좀 써볼 생각이다.

현재 팬은 벽 콘센트에 꽂혀 있고, 속도는 노브로 조절 중이다. 아직 PWM 컨트롤러를 연결해야 한다.

수정: 사양:

r/localllama

사용자들은 작성자의 다소 위험해 보이는 AI 서버 구축 방식에 대해 감탄하면서도 화재 위험이나 소음 문제를 지적하며 유쾌하게 반응하고 있습니다.

178

사진에서 소리가 들리는 것 같네.

하하하, 사실 *비교적* 조용한 편이야. 적어도 서버 블레이드랑 비교하면 말이지. 팬이 꽤 커서 유휴 상태일 땐 거의 돌 필요가 없거든.

내 이명 소리랑 비슷한 것 같네.

내 귀엔 AI가 제발 죽여달라고 비는 소리밖에 안 들리는데.

하하하하 그래 이거지. 수정: 저 팬 소음 장난 아닐 텐데.

15~20% 속도로 돌리면 그렇게 나쁘진 않아. inference 할 때 스로틀링 안 걸릴 정도는 됨.

이건 뭐 거의 화재 위험 수준까지 간 거 같은데.

게토 AI가 곧 우리 AI지

게토 AI가 곧 우리 AI지.

야매 AI가 최고지.

아니 그냥 블랙웰 RTX 6000 96GB VRAM짜리 하나 사지 그래? PCIe 슬롯도 하나만 있으면 되는데. 아, MSRP 보고 눈물 흘린 건 미안.

이제 이 프로젝트랑 아낀 돈이 내 정신 건강을 갈아 넣을 가치가 있었는지 스스로 설득해야 함.

가끔 그 페이지 들어가서 하나 갖고 싶다는 생각도 드는데... 내 MI100 시스템이 메모리도 더 많고 Blackwell 가격의 절반도 안 됨. 심지어 메모리랑 Threadripper까지 다 포함해서 말이지.

MI100 여러 개 돌리는 거 얼마나 힘듦? 500명 규모 회사(동시 접속 500명 아님)에서 쓸 로컬 LLM 호스팅 알아보려고 CFO 설득해 놨거든.

구글의 최신 오픈 모델 Gemma 4 시리즈가 공개되었으며, 12B 모델을 포함한 다양한 크기와 멀티모달 기능을 지원합니다.

Claude의 특정 행동 양식과 말투를 분석한 게시물에 대해 사용자들의 공감과 분석적 반응이 이어짐.

AI 모델들이 생성한 전갈 이미지들을 비교하며 각 모델의 생물학적 정확성과 디테일 묘사 능력을 평가하는 게시물입니다.