검열과 데이터 수집 걱정 없는 로컬 AI의 자유로움과 프라이버시를 예찬하는 글.
재밌는 이미지지만, 내가 모델을 얼마나 자유롭고 솔직하게 파인튜닝할 수 있는지 정말 좋다는 점을 덧붙이고 싶어. 아부도 없고, 검열도 없고, 데이터 수집도 없어. 내 집에서 데이터가 나가지 않는다는 걸 알기에 마음 편히 개인적인 내용을 논의하고 분석할 수 있지. llama.cpp 개발자들, 오픈 웨이트 모델 개발에 참여하는 모든 이들, 그리고 이런 도구들과 관련된 모든 이들에게 영원히 감사해.
로컬 AI의 자유로움과 프라이버시에 공감하면서도, 하드웨어 사양과 모델 선택에 대한 실질적인 정보 공유가 활발함.
llama.cpp는 GOAT임
거의 모든 로컬 AI 앱(LM Studio, Ollama 등)의 기반이지 🐏
왜 비추를 받는지 모르겠네. Ollama 내부적으로는 좀 더 많은 일이 일어나고 있지만, 원래 llama.cpp가 전체 백엔드였음. LM Studio나 Jan도 마찬가지고. 사람들 참 이상해.
대체 뭘 얼마나 망친 거야?? 그리고 조심해, 이런 작은 로컬 모델들도 보통 프론티어 모델보다 더 심하게 아부(glazing) 떨 수 있음.
건강 문제였음. 멍청하고 야망만 커서 과로로 죽을 뻔했거든. 10년 넘게 달리다 보니 자율신경계 붕괴, HRV 10ms 미만, 안정 시 심박수 100bpm 초과, 심한 탈수, 기립성 빈맥, 면역 체계 손상(독감으로 이어짐)까지 왔음. 불규칙한 수면, 나쁜 식습관, 과도한 음주, 하루 14-16시간 근무 때문이었지.
환상적인 벤치마크네 친구, 내 생각엔 이게 골드 스탠다드임.
> 이런 작은 로컬 모델들도 보통 프론티어 모델보다 더 심하게 아부 떨 수 있음. Qwen3 써본 적 있나 보네 ㅋㅋ
궁금해서 묻는데, 어떤 베이스 모델 써? 그리고 하드웨어는?
현재는 Gemma 4 쓰고, 하드웨어가 RX 9070 XT에 64GB DDR5라 20-35B 범위 내에서 머무는 편이야. 대화나 간단한 문제는 속도 때문에 MoE 변형을 주로 써.
“그저”
음, 이 서브레딧 사람들은 멀티 GPU나 GLM-5.1 같은 100B+ 모델을 돌릴 수 있는 엄청난 사양을 공유하곤 하잖아. 그래서 내 하드웨어는 좀 겸손한 편이지.
맞아, 여기 사람들은 LLM에 정말 진심이지. A6000이나 4x 5090 리그에 비하면 내 2x 5060ti 16gb는 장난감 수준임. 근데 llama.cpp 쓰기 어려워? 초보라 Ollama가 쉬워서 그것만 겨우 배웠거든.
llama.cpp를 위한 사용자 친화적인 UI를 원하면 LMStudio를 써봐.
로컬 호스팅은 처음인데, 9070xt+64gb 램으로 최대 어디까지 할 수 있어? 예산 상한선이라 기대치를 조절하고 싶어서.
이제 맥락이 필요하다.
