The best model is the one you can actually run
GPU 사양이 낮아도 로컬에서 원활하게 돌아가는 모델이 최고라는 공감대 형성.
오해하지 마, 거대 모델들은 다 엄청나고 오픈 소스 모델에 대한 모든 기여는 훌륭해. 하지만 난 GPU가 가난해서 로컬에서 돌릴 수가 없어.
현재 개인 챗 어시스턴트로 gemma-4-12b-it-qat-GGUF:UD-Q4_K_XL을 돌리고 있는데, 너무너무 만족스러워! 내 컴퓨터랑 대화할 수 있다는 게 아직도 안 믿겨.
사용자들은 로컬에서 구동 가능한 모델의 효율성을 높게 평가하며, 검색 툴 연동이나 특정 플랫폼 활용 등 실질적인 사용 팁을 공유하고 있습니다.
이 친구 뭘 좀 아네. Gemma 4 12b qat 진짜 끝내줌
와이푸(waifu) 용도 말고, 또 어디에 쓸모가 있음?
위키피디아나 웹 검색 같은 툴 콜링(tool calling)을 활용한 일반적인 대화 정도겠지. 근데 나라면 차라리 Qwen 27B나 35B 낮은 양자화 모델을 쓰겠음. 난 글쓰기나 음성 입력에는 관심이 없어서, Gemma 12B의 타겟 유저는 아닌 듯.
로컬 LLM은 그냥 구글 쓰는 거임? 캡차(captcha) 안 걸림?
연동해 놓은 검색 엔진이면 뭐든 다 쓰지
Crawl4AI나 TinySearch 같은 SearXNG MCP 쓰면 그런 거 다 우회 가능함
나도 그렇게 쓰는데, Gemini나 Claude보다 Qwen 기반 Hermes에서 훨씬 좋은 정보를 얻음
그게 Camofox나 Cloakbrowser보다 나음?
우회하는 방법은 다 있음
Llama.cpp 웹 툴에 최근 검색 엔진 기능이 추가됐음. 한 기기에서 써봤는데, 어떻게 하는 건지 모르겠지만 다른 기기에서는 설정을 못 하겠더라.
허깅페이스 툴도 있음. :)
와이푸 용도로는 어떻게 쓰는 거임? 내가 뭘 놓친 건가.....
SillyTavern
SillyTavern에서 Qwen Coder 쓸 수는 있는데, 그렇다고 그게 와이푸 용도로 유용한 건 아니잖아.
검열 없는 버전 써봐, 나 믿고 한번 해봐
따라 할 만한 괜찮은 가이드나 유튜브 영상 있어?
사용자가 자신의 타이핑 속도를 측정해 LLM의 토큰 생성 속도(t/s)와 비교하는 웹 도구를 만들어 공유했습니다.
사용자가 자신의 타이핑 속도를 측정해 LLM의 토큰 생성 속도(t/s)와 비교하는 웹 도구를 만들어 공유했습니다.
Anthropic의 모델이 그동안 과도하게 사용하던 em dash(—)를 줄이는 등 세밀한 개선을 이뤄낸 것에 대한 사용자들의 긍정적인 반응입니다.
Anthropic의 모델이 그동안 과도하게 사용하던 em dash(—)를 줄이는 등 세밀한 개선을 이뤄낸 것에 대한 사용자들의 긍정적인 반응입니다.
