Couldn't hold back
회사에서 아무도 알아주지 않는 AI 장비 구매 소식을 r/localllama 커뮤니티와 공유하며 기쁨을 나누는 작성자.
몇 달을 기다린 끝에 드디어 오늘 그래픽카드가 도착했음. 회사 사람들은 아무도 관심이 없더라, 내가 하는 AI 관련 일에 다들 무관심해서 그런가 봐. 그래도 너희들이랑은 공유하고 싶었어.
빨리 서버 구축해서 작업 시작하고 싶다.
작성자의 새로운 GPU 도입을 커뮤니티 멤버들이 열렬히 축하하며, 관련 기술 리소스에 대한 정보 공유가 활발히 이루어짐.
우리끼리는 다 이해함
🤣🤣 우리 GPU 도착했다고 말했을 때 상황이랑 딱 맞네. 언박싱이나 하자.
얼마 전에 회사 연구원들한테 엔비디아 스파크 사줬는데, 내가 다 신나더라.
내 것도 하나 사주면 안 됨?
내 책상용으로 하나 더 살까 생각 중인데, 어떻게 쓰는지부터 알아야 할 듯.
내가 네 책상(des-)이 되어줄까?
RTX 6000 Pro 몇 개임? 회사 전체랑 공유해야 함? 가치를 모르면 못 쓰게 해야지.
집까지 마음이 훈훈하네. 우리 다 추론(inference) 구석에 모여 있잖아. 춤이라도 춰야지. 이게 바로 VRAM 댄스임.
축하함!
고마워🥳🥳
그걸로 뭐 할 생각임?
일단 고성능 추론 문서 처리 파이프라인 구축하고 나중에 에이전트 관련 작업도 하려고. 6개월 전부터 프로덕션에서 파이프라인 돌리고 있는데, 이건 확장용임.
멋지네, 행운을 빎. 혹시 괜찮다면 AI 파이프라인 구축 배우려는 사람들을 위해 기술 리소스 좀 추천해 줄 수 있음?
작업마다 달라서 vLLM 배포 배우고 여러 설정으로 실험해 보는 걸 추천함. 추측 디코딩(speculative decoding), KV 캐시 양자화 같은 최신 기술도 읽어보고. 난 칩 후옌의 AI 엔지니어링이랑 제이 알라마르의 핸즈온 LLM 엔지니어링 읽었는데 둘 다 추천함.
고마워
미국 기업들이 비용 절감과 데이터 보안을 이유로 비싼 프론티어 AI 모델 대신 오픈 소스 모델로 눈을 돌리고 있음.
미국 기업들이 비용 절감과 데이터 보안을 이유로 비싼 프론티어 AI 모델 대신 오픈 소스 모델로 눈을 돌리고 있음.
Google이 예고 없이 AI Plus 요금제에서 Pro 모델 접근 권한을 제거하여 사용자들의 불만이 폭주하고 있습니다.
Google이 예고 없이 AI Plus 요금제에서 Pro 모델 접근 권한을 제거하여 사용자들의 불만이 폭주하고 있습니다.
Claude Code로 일상 업무 자동화 도구를 직접 개발해 생산성을 높이고 삶의 질을 개선한 사용자들의 경험 공유.
Claude Code로 일상 업무 자동화 도구를 직접 개발해 생산성을 높이고 삶의 질을 개선한 사용자들의 경험 공유.