r/LocalLLaMA•5개월 전•244•48

'직접 돌리지 않으면 네 것이 아니다'의 실제 사례, 그리고 챗GPT와 제미나이를 압도하는 Gemma 4

An actual example of "If you dont run it, you dont own it" and Gemma 4 beats both Chat GPT and Gemini Chat

핵심 요약

로컬 모델을 직접 돌려보니 Gemma 4가 번역 및 문맥 파악에서 챗GPT와 제미나이보다 뛰어난 성능을 보임.

로컬 모델 성능 — Gemma 4가 챗GPT 5.3 및 제미나이보다 번역 및 문맥 파악에서 우수한 성능을 입증함.
모델 검열 문제 — Qwen 모델들이 번역 과정에서 불필요한 검열로 인해 제대로 작동하지 않는 문제 발생.
로컬 LLM의 도약 — 그동안 대형 상용 모델에 밀리던 로컬 LLM이 이제는 번역 등 특정 작업에서 상용 모델을 능가함.
사용자 경험 변화 — 기업의 A/B 테스트나 모델 성능 저하로부터 자유로운 로컬 모델의 장점이 부각됨.

모델 성능 저하와 검열에 관한 흥미로운 이야기입니다.

제 AI 활용 사례 중 하나는 중국 소설을 챕터별로 번역하고 읽는 것입니다.

일부 캐릭터의 비밀 신원이나 플롯 포인트 때문에 AI가 번역 시 문맥 단서를 따라가야 했고, 일관성을 유지하기 위해 AI에게 이를 확인하고 번역 시 올바른 이름을 선택하도록 프롬프트를 입력해야 했습니다.

처음 시작했을 때 사용 가능한 주요 모델은 GPT OOS 120B(느림), Qwen 3 max, 그리고 무료 버전인 Chat GPT 4o였습니다.

처음에는 GPT OSS 120B를 시도했지만 실패했습니다. 캐릭터 이름을 섞어버리거나 때로는 일관성 없이 새로운 이름을 만들어내기도 했습니다.

그다음에는 Qwen 3 Max를 사용했습니다. 더 나았지만 여전히 20%의 실패율을 보였습니다. 그러다 (NSFW가 아님에도 불구하고) 지속적으로 검열 필터에 걸리기 시작했습니다.

그 후 당시 무료 버전인 Chat GPT 4o를 시도했는데, 단연 최고였습니다. 이름은 항상 정확했고 번역 품질 자체도 최고 수준이었습니다.

시간이 좀 흐른 뒤 5.2 업데이트 이후, 쿼리의 20%에서 실패하기 시작했습니다. 그러다 A/B 테스트를 목격했는데, 버전 중 하나가 번역에서 지속적으로 실패하며 잘못된 이름을 선택했습니다.

이제 GPT 5.3이 나오면서 A/B 테스트는 끝난 것 같고, 사용자들에게 더 나쁜 버전을 배포하여 예전 Qwen 3 Max와 비슷한 수준이 되었습니다.

이 일로 인해 번역을 위한 현재 최신 로컬 모델들의 상태를 다시 테스트해보고 싶어졌습니다. 놀랍게도 Gemma 4 31B가 폐쇄형 모델들을 압도했습니다. 품질은 전성기 GPT 4o와 매우 유사합니다.

같은 프롬프트와 챕터로 일부 오픈 및 폐쇄형 모델들을 다시 테스트해본 결과, 우리에게 긍정적인 결과가 나왔습니다:

|Model|PASS/FAIL|INFO|
|:-|:-|:-|
|GPT OOS 120B|FAIL|Merges characters names|
|Qwen 3 Max|FAIL (CENSORED)|Ok writing, but model got censored and autodeleted|
|Qwen 3.6 Plus|FAIL (CENSORED)|Good writing, but model got censored and autodeleted|
|Chat GPT 5.3|FAIL|Messes up correct character name, unnaturally feeling translation|
|Gemma 4 31B|PASS|Good translation, feels natural, and is fast|
|Qwen 3.5 27B|PARTIAL PASS|Similar to Gemma 4, a bit less natural sounding and messes character pronouns (calls a Lady a Lord)|
|Gemini Chat|PARTIAL PASS|Surprisingly, worse than Gemma 4, a bit less natural sounding and messes character pronouns (calls a Lady a Lord)|

세상에, 이 글을 쓰기 시작한 후에 테스트를 해봤습니다. 어떻게 Q4 버전의 Gemma 4가 Gemini와 GPT 5.3을 모두 이길 수 있죠? 구글이 사용하는 Gemini가 정말 Gemma보다 못한 건가요? 대체 무슨 일이죠?!

원문

커뮤니티 목록

r/LocalLLaMA•5개월 전•244•48

'직접 돌리지 않으면 네 것이 아니다'의 실제 사례, 그리고 챗GPT와 제미나이를 압도하는 Gemma 4

An actual example of "If you dont run it, you dont own it" and Gemma 4 beats both Chat GPT and Gemini Chat

핵심 요약

로컬 모델을 직접 돌려보니 Gemma 4가 번역 및 문맥 파악에서 챗GPT와 제미나이보다 뛰어난 성능을 보임.

로컬 모델 성능 — Gemma 4가 챗GPT 5.3 및 제미나이보다 번역 및 문맥 파악에서 우수한 성능을 입증함.
모델 검열 문제 — Qwen 모델들이 번역 과정에서 불필요한 검열로 인해 제대로 작동하지 않는 문제 발생.
로컬 LLM의 도약 — 그동안 대형 상용 모델에 밀리던 로컬 LLM이 이제는 번역 등 특정 작업에서 상용 모델을 능가함.
사용자 경험 변화 — 기업의 A/B 테스트나 모델 성능 저하로부터 자유로운 로컬 모델의 장점이 부각됨.

모델 성능 저하와 검열에 관한 흥미로운 이야기입니다.

제 AI 활용 사례 중 하나는 중국 소설을 챕터별로 번역하고 읽는 것입니다.

처음 시작했을 때 사용 가능한 주요 모델은 GPT OOS 120B(느림), Qwen 3 max, 그리고 무료 버전인 Chat GPT 4o였습니다.

처음에는 GPT OSS 120B를 시도했지만 실패했습니다. 캐릭터 이름을 섞어버리거나 때로는 일관성 없이 새로운 이름을 만들어내기도 했습니다.

그 후 당시 무료 버전인 Chat GPT 4o를 시도했는데, 단연 최고였습니다. 이름은 항상 정확했고 번역 품질 자체도 최고 수준이었습니다.

이제 GPT 5.3이 나오면서 A/B 테스트는 끝난 것 같고, 사용자들에게 더 나쁜 버전을 배포하여 예전 Qwen 3 Max와 비슷한 수준이 되었습니다.

같은 프롬프트와 챕터로 일부 오픈 및 폐쇄형 모델들을 다시 테스트해본 결과, 우리에게 긍정적인 결과가 나왔습니다:

|Model|PASS/FAIL|INFO|
|:-|:-|:-|
|GPT OOS 120B|FAIL|Merges characters names|
|Qwen 3 Max|FAIL (CENSORED)|Ok writing, but model got censored and autodeleted|
|Qwen 3.6 Plus|FAIL (CENSORED)|Good writing, but model got censored and autodeleted|
|Chat GPT 5.3|FAIL|Messes up correct character name, unnaturally feeling translation|
|Gemma 4 31B|PASS|Good translation, feels natural, and is fast|
|Qwen 3.5 27B|PARTIAL PASS|Similar to Gemma 4, a bit less natural sounding and messes character pronouns (calls a Lady a Lord)|
|Gemini Chat|PARTIAL PASS|Surprisingly, worse than Gemma 4, a bit less natural sounding and messes character pronouns (calls a Lady a Lord)|

주요 댓글

r/localllama

Gemma 4의 압도적인 번역 성능에 대한 커뮤니티의 뜨거운 찬사와 로컬 모델의 비약적인 발전에 대한 기대감이 가득함.

171

구글이 Gemma 4의 언어 능력을 제대로 손봤네. 진짜 독보적인 수준임. 이거 칭찬하는 글을 너무 많이 봤어. 처음엔 Qwen 3.5보다 별로인 것 같아서 실망했는데, 알고 보니 둘 다 각자 분야에서 엄청난 모델들이더라. 그리고 진짜 대박인 건 이런 모델들을 우리가 공짜로 쓸 수 있다는 거 아님? Gemma 팀이랑 알리바바한테 너무 고마움.

동감. 이렇게 작은 모델이 스위스 독일어 작문이랑 번역까지 완벽하게 해내는 건 처음 봄. SOTA 모델들도 80%는 못 하는 건데.

맞아. 나도 번역 때문에 로컬이랑 상용 LLM 다 써봤는데, 지금까지는 항상 상용 모델이 압승이었거든. 근데 Gemma 4는 진짜 엄청난 발전임. 로컬 LLM이 상용 모델이랑 비비는 수준을 넘어서 가끔은 더 잘하는 걸 처음 경험해 봄. 드디어 완전히 로컬로 번역 환경을 옮길 수 있을 것 같아.

Gemma 4가 지금 번역용으로는 최고 모델인 듯. 예전엔 Gemini 2.5 Pro를 제일 좋아했는데(3.1 Pro는 오히려 퇴보였음), Gemma 4 31B가 둘 다 씹어먹음.

내 생각엔 Gemini보다 나은 점이 많음. Gemini가 너무 심하게 양자화돼서 그런가? 어쨌든 NLP 쪽은 이제 다른 모델보다 Gemma 4를 더 신뢰하게 됨.

구글이 결국 LLM의 근본 연구소잖아. T5, PaLM 다 거기서 나왔고. T5도 원래 기계 번역이랑 NLP 작업용이었으니 이상할 것도 없지. 근데 작성자님 Gemini Chat 무료 버전 쓰는 거 아님? 무료 버전은 단순한 요청 처리하려고 더 가벼운 모델 쓸 수도 있으니까.

100% 동감. 누가 Qwen에 창의적 글쓰기 능력까지 증류해서 넣어주면 진짜 완벽할 텐데.

나도 알리바바한테 진짜 고마움. Qwen 3.6 35B도 엄청나거든. Gemma 4는 아직 안 써봤는데 새로 나왔다니 기쁘네.

알리바바 없었으면 좋은 오픈 모델 구경도 못 했을 듯. 걔네가 계속 모델 내놓으면서 다른 애들도 경쟁하게 만드니까.

너만 그렇게 생각하는 게 아님. https://dubesor.de/benchtable https://foodtruckbench.com/#leaderboard 여기 봐봐. RP 커뮤니티는 2년 된 Mistral Nemo랑 Small에 갇혀 있었는데, 드디어 RP나 창의적 글쓰기에 쓸만한 모델이 나왔음. Gemma 4는 진짜 재능 많은 모델임.

Gemini Flash 최근에 완전 맛탱이 갔음. 구글이 더 큰 Gemma를 숨겨놓은 건지 모르겠는데, 만약 풀었으면 지금 Flash보다 훨씬 나았을 듯.

맛탱이 갔다는 게 무슨 뜻임?

Qwen 3.6 35B도 진짜 특별함. 한번 써봐.

Gemma 4 독일어 챗봇으로도 너무 좋음. 문장 구조도 잘 잡고 언어 실수도 거의 없음. 그냥 장난감 수준이 아니라 실제로 업무에 쓰는 첫 모델임. 더 큰 버전도 나왔으면 좋겠는데, 이미 Gemini보다 나은 점이 있어서 구글이 안 내놓을지도 모르겠네. 신기하게도 구글/딥마인드가 윤리 쪽은 제일 앞서가는 듯.

원문r/LocalLLaMA