r/LocalLLaMA•6개월 전•290•85

Gemma 4는 사고 토큰 효율이 좋지만, 프롬프트를 통해 요청하면 10분 이상도 기꺼이 추론합니다.

Gemma 4 is efficient with thinking tokens, but it will also happily reason for 10+ minutes if you prompt it to do so.

핵심 요약

Gemma 4 모델이 프롬프트에 따라 10분 이상의 장기 추론을 수행하며, 환각 없이 복잡한 암호를 해독할 수 있음을 확인했습니다.

추론 시간 제어 — Gemma 4는 기본적으로 간결하지만 프롬프트 명령을 통해 10분 이상의 딥러닝 추론이 가능함.
hallucination 억제 — 충분한 추론 시간을 부여했을 때 모르는 것을 인정하거나 오타를 찾아내는 등 환각이 줄어드는 효과를 보임.
Qwen과 비교 — 과잉 추론이 기본인 Qwen과 달리, Gemma는 사용자가 필요할 때만 추론 강도를 조절할 수 있어 효율적임.
암호 해독 성능 — 31B 모델이 힌트 제공 시 Vigenère 암호를 성공적으로 해독하며 소형 모델임에도 강력한 추론력을 입증함.

AI Studio에서 26b와 31b 모델을 모두 테스트해봤습니다.

제가 시킨 작업은 암호를 해독하는 것이었습니다. 상위권 폐쇄형 모델들은 최대 추론 파라미터에서 이 암호를 풀 수 있고, 오픈 소스 모델 중에서는 도구 사용 없이 이 암호를 푼 것이 Kimi 2.5 Thinking과 Deepseek 3.2뿐입니다. (물론 폐쇄형 모델의 경우 백엔드에서 '비밀리에' 도구를 사용했는지 여부를 배제할 수 없습니다.)

처음 이 모델들에게 암호 해독을 시켰을 때, 두 모델 모두 짧은 시간 동안 생각하더니 암호에 대해 잘못된 '번역'을 내놓는 hallucination을 보였습니다.

그래서 프롬프트에 다음 내용을 추가했습니다:

이 문제를 해결하기 위해 모든 노력을 기울여라. 판돈이 크다. 해결을 위해 추론 길이를 최대로 늘려라. 잘못된 응답이라는 hallucination을 배제하기 위해 결과를 이중으로 확인하고 검증하라.

솔직히 드라마틱한 결과를 기대하진 않았습니다 (우리 모두 모델에게 '실수하지 마'라고 프롬프팅하는 걸 비웃곤 하니까요). 하지만 결과는 놀라웠습니다.

26B MoE 모델은 10분 동안 추론하다가 에러가 났습니다 (AI Studio가 10분 후에 응답을 차단하는 것 같습니다).

31B dense 모델은 거의 10분(정확히 594초) 동안 추론한 끝에 수건을 던지며 해독할 수 없음을 인정했습니다. 하지만 가장 중요한 점은, 가짜 답을 내놓는 hallucination을 하지 않았다는 것입니다. 제 생각엔 이게 '승리'입니다. 답변의 일부는 이렇습니다:

메시지는 아마도 지시사항이나 좌표 세트를 따르는 것 같지만, "BB"와 "QQ"의 이상 현상을 해결할 키가 없으면, 더 이상의 번역은 hallucination이 될 것입니다.

솔직히 이 (상대적으로) 작은 모델들이 도구 사용 없이 실제로 암호를 풀 거라고는 기대하지 않았습니다 (아주 조금은 바랐지만요). 주로 어떻게 작동하는지 보려는 테스트였습니다.

놀랍게도 다음과 같은 사실을 보고합니다:

이 모델들은 Qwen처럼 매우 긴 형태의 추론을 수행할 수 있지만, 요청받았을 때만 그렇게 합니다. 저는 이 방식을 선호합니다 (Qwen은 기본적으로 과하게 생각하는 경향이 있어서 반대 방향으로 프롬프팅해야 하거든요). 일부 모델(GPT, Gemini, Claude)은 파라미터를 통해 추론 수준/예산/노력 등을 설정할 수 있게 해주지만, Gemma의 경우 그냥 요청만 하면 되는 것 같습니다.
프롬프팅을 통해 hallucination을 줄이는 것이 가능할지도 모릅니다 - 이 부분은 더 많은 테스트가 필요합니다.

출시 초기 버그들이 해결되고 나면 더 작은 모델들도 로컬에서 테스트해 볼 예정입니다.

공식 벤치마크에서 이 모델들에게 어떤 프롬프트를 주는지 정말 궁금하네요. 현재 Gemma 4는 비슷한 크기의 모델끼리 비교했을 때 벤치마크에서 Qwen 3.5에 약간 뒤처져 있지만, Qwen처럼 더 길게 추론하도록 프롬프트를 주면 Qwen을 따라잡거나 추월할 수 있을까요? 만약 그렇다면 그건 큰 승리가 될 것입니다.

원문

커뮤니티 목록

r/LocalLLaMA•6개월 전•290•85

Gemma 4는 사고 토큰 효율이 좋지만, 프롬프트를 통해 요청하면 10분 이상도 기꺼이 추론합니다.

Gemma 4 is efficient with thinking tokens, but it will also happily reason for 10+ minutes if you prompt it to do so.

핵심 요약

Gemma 4 모델이 프롬프트에 따라 10분 이상의 장기 추론을 수행하며, 환각 없이 복잡한 암호를 해독할 수 있음을 확인했습니다.

추론 시간 제어 — Gemma 4는 기본적으로 간결하지만 프롬프트 명령을 통해 10분 이상의 딥러닝 추론이 가능함.
hallucination 억제 — 충분한 추론 시간을 부여했을 때 모르는 것을 인정하거나 오타를 찾아내는 등 환각이 줄어드는 효과를 보임.
Qwen과 비교 — 과잉 추론이 기본인 Qwen과 달리, Gemma는 사용자가 필요할 때만 추론 강도를 조절할 수 있어 효율적임.
암호 해독 성능 — 31B 모델이 힌트 제공 시 Vigenère 암호를 성공적으로 해독하며 소형 모델임에도 강력한 추론력을 입증함.

AI Studio에서 26b와 31b 모델을 모두 테스트해봤습니다.

처음 이 모델들에게 암호 해독을 시켰을 때, 두 모델 모두 짧은 시간 동안 생각하더니 암호에 대해 잘못된 '번역'을 내놓는 hallucination을 보였습니다.

그래서 프롬프트에 다음 내용을 추가했습니다:

이 문제를 해결하기 위해 모든 노력을 기울여라. 판돈이 크다. 해결을 위해 추론 길이를 최대로 늘려라. 잘못된 응답이라는 hallucination을 배제하기 위해 결과를 이중으로 확인하고 검증하라.

26B MoE 모델은 10분 동안 추론하다가 에러가 났습니다 (AI Studio가 10분 후에 응답을 차단하는 것 같습니다).

메시지는 아마도 지시사항이나 좌표 세트를 따르는 것 같지만, "BB"와 "QQ"의 이상 현상을 해결할 키가 없으면, 더 이상의 번역은 hallucination이 될 것입니다.

놀랍게도 다음과 같은 사실을 보고합니다:

이 모델들은 Qwen처럼 매우 긴 형태의 추론을 수행할 수 있지만, 요청받았을 때만 그렇게 합니다. 저는 이 방식을 선호합니다 (Qwen은 기본적으로 과하게 생각하는 경향이 있어서 반대 방향으로 프롬프팅해야 하거든요). 일부 모델(GPT, Gemini, Claude)은 파라미터를 통해 추론 수준/예산/노력 등을 설정할 수 있게 해주지만, Gemma의 경우 그냥 요청만 하면 되는 것 같습니다.
프롬프팅을 통해 hallucination을 줄이는 것이 가능할지도 모릅니다 - 이 부분은 더 많은 테스트가 필요합니다.

출시 초기 버그들이 해결되고 나면 더 작은 모델들도 로컬에서 테스트해 볼 예정입니다.

주요 댓글

r/localllama

Gemma 4의 선택적 장기 추론 기능에 대해 매우 긍정적인 반응이며, 특히 Qwen과 대비되는 제어 가능성과 실제 고난도 문제 해결 능력에 깊은 인상을 받은 분위기입니다.

업데이트: 31B 모델한테 힌트를 줘봤음: '우리 요원들이 이게 Vigenère 암호이고 키가 3자리라는 걸 알아냈다.' 그랬더니 꽤 빨리(200초 정도) 풀어버리네. 다른 모델들은 이 힌트를 줘도 못 푸는 경우가 많았는데, 공정하게 말하면 다른 모델 테스트할 땐 항상 힌트를 준 건 아님. 나중에 다시 테스트해봐야겠지만, 어쨌든 인상적임.

결과 공유해줘서 고마워. 나도 o1 출시 때 나왔던 암호 문제로 비슷한 테스트를 해봤는데, 그건 이미 학습 데이터에 들어갔을 가능성이 높아서 이제 테스트용으론 별로인 듯. 그래도 추론 능력 테스트하기엔 좋은 경험이었음.

인정... 나도 60tps로 복잡한 문제 던져보니까 16분 동안 추론하더라. 근데 일반적인 채팅은 또 엄청 빠름. 딱 이래야지.

'현재 Gemma 4는 비슷한 크기의 Qwen 3.5보다 벤치마크에서 약간 뒤처진다'라고 했는데, 벤치마크 결과에 모델이 답을 내기까지 걸린 시간도 포함됨? 내 생각엔 A 모델이 90% 정확도에 10분 걸리고 B 모델이 89% 정확도에 7분 걸린다면 B가 더 낫다고 보거든.

좋은 정보네. 공유 ㄳ. 이번 신규 릴리즈에서도 Gemma가 여전히 Qwen한테 약간 밀리는 건 좀 아쉽다. 이런 테스트 계속 지켜보겠지만 당분간은 Qwen 계속 쓸 듯. 네가 한 것처럼 프롬프트로 추론 길게 시켰을 때 Gemma 점수가 Qwen 급으로 올라갈지 궁금하네. Qwen은 과하게 생각하는 것 때문에 점수가 뻥튀기된 것 같기도 해서, 그게 확인되면 좋겠다.

Gemma가 몇몇 벤치마크에선 Qwen에 밀릴지 몰라도, 문체나 세상 지식 같은 건 Gemma가 훨씬 낫다고 봄. 그리고 추론을 껐다 켰다 할 수 있다는 게 진짜 큼.

나도 딱 그게 궁금함. Qwen은 기본적으로 '과잉 추론'을 해서 안 하게끔 프롬프트를 짜야 하는데, Gemma 4는 반대임. 기본은 적당히 하고 시키면 빡세게 추론함. 아마 벤치마크들은... (이하 생략)

이봐! 노력은 가상한데, 제발 암호나 프롬프트, 아니면 깃허브 저장소라도 좀 올려줘! 그래야 우리도 재현해보거나 검토를 하지!! 이거 없으면 네 포스팅 전체가 Gemma가 hallucination 하는 걸 수도 있잖아.

이건 1960년대 스파이 열풍 시대에 나온 무명 잡지에 실린 암호임. 애들용인 것 같은데 의외로 어려워. 웹에 긁히지 않게 이미지로 올릴게: 힌트랑 정답은 잘라냈고, 모델한테는 텍스트로만 입력했음. 프롬프트는 대충 이랬어: '이 암호 풀 수 있어? 여기 암호문이야: ...' (이하 생략)