r/ClaudeAI•3개월 전•418•226

만약 가능하다면, 정말로 Fable을 로컬에서 돌릴 건가요?

would you even run fable locally if you could?

핵심 요약

Fable 모델의 가격이 낮아질 미래에도 로컬 구동이 의미가 있을지, 개인정보 보호 외의 장점은 무엇인지 논의합니다.

로컬 구동 장점 — 사용량 제한이 없고 검열이나 제약에서 자유로움
모델 압축 기술 — 효율적인 LLM 압축이 필연적으로 발전할 것이라는 기대
지식과 추론 분리 — 지식은 외부에서 주입하고 추론만 모델이 담당하는 방식의 가능성
검열 해제 모델 — 오픈 웨이트 모델을 재학습하여 제약 없이 사용하는 사례 존재

진지한 질문인데, 앞으로 2년 동안 Fable 가격이 엄청나게 떨어진다면 로컬 구동이 의미가 있을까요? 5천 달러짜리 장비에서 Fable을 돌릴 수 있게 될 때쯤이면 호스팅 버전은 아마 10배는 더 저렴해질 텐데 말이죠. 개인정보 보호 외에 로컬 구동을 고집할 이유가 뭐가 있을까요?

원문

커뮤니티 목록

r/ClaudeAI•3개월 전•418•226

만약 가능하다면, 정말로 Fable을 로컬에서 돌릴 건가요?

would you even run fable locally if you could?

핵심 요약

Fable 모델의 가격이 낮아질 미래에도 로컬 구동이 의미가 있을지, 개인정보 보호 외의 장점은 무엇인지 논의합니다.

로컬 구동 장점 — 사용량 제한이 없고 검열이나 제약에서 자유로움
모델 압축 기술 — 효율적인 LLM 압축이 필연적으로 발전할 것이라는 기대
지식과 추론 분리 — 지식은 외부에서 주입하고 추론만 모델이 담당하는 방식의 가능성
검열 해제 모델 — 오픈 웨이트 모델을 재학습하여 제약 없이 사용하는 사례 존재

주요 댓글

r/claudeai

로컬 모델의 비약적인 발전 속도를 고려할 때, 미래에는 로컬 환경에서도 현재의 고성능 모델을 대체할 수 있는 성능을 기대할 수 있다는 반응이 주를 이룹니다.

216

로컬에서 돌리면 컴퓨팅 파워를 직접 소유하니까 사용량 제한이 없다는 게 장점이죠.

그리고 개 같은 제약도 없고요.

확실해요? 오픈 웨이트 모델은 제한이 없나요? 파이프 폭탄 만드는 법 같은 걸 물어봐도 되나요? 좀 의심스러운데...

그럼. 오픈 웨이트 모델을 재학습시켜서 정확히 그렇게 하는 사람들이 있지. HauhauCS가 그 예시 중 하나고.

HauhauCS는 -p-e-w-의 Heretic 프로젝트를 출처 표기 없이 베껴간 사기꾼 사례이기도 함. 출처: https://www.reddit.com/r/LocalLLaMA/comments/1sw77p0/hauhaucs_of_uncensored_aggressive_fame_published/

그걸 사기라고 부르는 게 맞나? 표절인 건 확실함. 라이선스 문제니까 해적질이나 뭐 그런 거 아닐까?

Abliterated 모델이랑 heretic 모델은 꽤나 허용적인 편이라고 들었음.

Heretic 모델이 뭐야?

Heretic 모델은 Heretic(다른 댓글 작성자가 링크함)을 사용해서 제한을 풀거나, 'abliterated'된 모델을 말함. 예시로는 Qwen 3.6 27B Heretic이 있음. 기본적으로 Qwen이 출시한 모델이랑 똑같은데, 이건 불법적이거나 정치적, 혹은 성적인 콘텐츠를 다루는 데 아무런 문제가 없음.

의심할 필요 없음. 직접 조사해보면 그런 모델들이 실제로 존재한다는 걸 알게 될 거임.

그 정도는 아님. 모델의 가중치를 건드리지 않고는 모델을 제한할 수 없는데, 그렇게 하면 모델 성능이 떨어지거든. 그래서 대신 프롬프트, 사고 토큰, 출력값을 스캔하는 분류기를 추가해서 원치 않는 내용이 발견되면 출력을 차단하는 방식을 씀.

그 분류기 레이어는 비용이 많이 들고 지연 시간을 유발해서, Anthropic은 현재 2단계 분류기를 사용 중임. 모든 프롬프트에서 실행되어 잠재적 오용을 플래그하는 싸고 빠른 분류기 하나랑, 플래그된 프롬프트를 읽고 판단하는 성능은 좋지만 느린 분류기 하나 이렇게.

길이 제한으로 뒷부분이 생략된 댓글입니다 · 원문에서 전체 보기 →

맞음, 근데 지금 시점에서 1T 모델을 로컬에서 돌리려면 2만~5만 달러는 깨짐. 그리고 그 토큰 속도(Tok/s)를 생각하면, 지금의 보조금 지원 가격을 고려했을 때 8년 동안 200달러짜리 플랜 2개를 구독하는 게 훨씬 싸게 먹힘.

보조금이 끝났을 때 비교해보면 재밌을 듯.

사람들이 하는 주장은 로컬에서 뭘 하든 1T 모델까지는 필요 없다는 건데, 그 정도 수준이면 그냥 클라우드 제공업체의 더 작은 모델을 쓰는 게 나음.

GPT 3.5 나왔을 때(겨우 3년 전!) API 비용이 지금 Fable보다 비쌌음. 지금은 제일 작은 로컬 모델도 그거보다 훨씬 뛰어남. 핵심은 지난 2년간 발전 속도가 미쳐서, Haiku 사이즈 모델이 지금의 Fable만큼 성능을 낼 수도 있다는 거임. 근데 당연히 아무도 그거 안 쓰겠지, 우리 다 그때까지 살아있으면 Fable 7 쓰고 있을 테니까.

인정

근데 수확 체감의 법칙이 있잖아.

원문r/ClaudeAI