두 개의 관련 프롬프트, 다른 결과: Qwen 3.5와 Gemma 4는 Qwen 3.6과는 다른 프롬프팅이 필요하다
Two related prompts, different results: Qwen 3.5 and Gemma 4 need different prompting than Qwen 3.6
핵심 요약
모델마다 프롬프트 스타일에 따른 성능 차이가 크며, 유사한 모델 간에도 최적의 프롬프팅 방식이 다를 수 있음을 실험으로 증명함.
- 프롬프트 민감도 — 모델마다 동일한 문제에 대해 프롬프트 길이나 문맥에 따라 답변 정확도가 크게 달라짐.
- 모델별 차이 — Qwen 3.5와 3.6처럼 유사한 모델이라도 최적의 프롬프팅 스타일이 다를 수 있음.
- 벤치마크 한계 — 완벽하지 않은 일상적인 프롬프트 환경에서는 벤치마크 결과와 실제 성능이 다를 수 있음.
- 실험적 접근 — 로컬 LLM 비교 도구를 활용해 다양한 모델과 프롬프트 조합을 직접 테스트함.
새로운 모델이 나올 때마다 'Opus 6.13보다 낫다'는 쪽과 '이렇게 구린데 왜 출시했냐'는 쪽으로 나뉘는데, 항상 누가 잘못 쓰고 있는 건지 궁금했다.
그래서 2개의 관련 프롬프트와 3개의 모델을 가지고 각각 10번씩 테스트해 봤다.
짧은 프롬프트:
Mike grew up as one of 6 siblings and has 3 sisters. He has $25 and bought 5 boxes of apples for his organic apples business. To support him, his siblings also gifted some apples, with each of his brothers giving him 4 boxes and his sisters 2 boxes each. One of the brothers bought the cheap apples for Mike which were not organic, so Mike can't sell them and returned them. In his first week, Mike sold all boxes of apples and using all the money he earned from that bought twice the amount of apples for the second week. How much money would Mike earn in the second week if he was able to sell all of them?
예상 정답: 300.
가정:
- 짧은 프롬프트 = 더 좋음. 긴 버전은 사실이 아니라 군더더기가 더 많음.
- Qwen 3.6 > Qwen 3.5
- IQ2는 멍청함
결과:
- 대부분의 오답은 구매든 판매든 상관없이 '한 상자에 5달러'라고 가정하고 300 대신 150이라고 답함 (긴 이야기 버전에서 50% 확률로 형제들의 상자를 무시하고 $25*2=$50라고 답한 Qwen 3.6 IQ2는 제외).
- Gemma 4는 긴 버전을 훨씬 선호함. 주변 이야기를 통해 Gemma 4는 이를 단순히 수학적이고 가정에 기반한 질문이 아니라, 구매가와 판매가가 다른 '비즈니스'로 인식함.
- Qwen 3.6은 긴 프롬프트에서 Q8에서도 놀라울 정도로 성능이 나빴음. 대부분 비즈니스 부분을 놓치고 150이라고 하거나 형제들의 상자를 잊고 50이라고 함.
- IQ2는 의외로 괜찮았음
정말 놀라웠다. 좋은 프롬프트와 나쁜 프롬프트만 있는 게 아니라, 심지어 비슷해 보이는 모델(Qwen 3.5 vs 3.6)조차도 서로 다른 프롬프팅 스타일을 요구할 수 있다는 사실을 알게 되었다.
참고로, 다른 프롬프트는 정확히 같은 문장들을 포함하고 있지만 더 긴 이야기 속에 포함되어 있음:
The Organic Apple Enterprise
The sun barely peeked over the rolling hills of the valley when Mike was already awake, brewing his morning coffee and lacing up his work boots. The peaceful, quiet calm of the dawn was a stark contrast to the memories of his childhood home. It had always been a loud, energetic household, filled with constant chatter, shared chores, and the occasional battle over the television remote. Growing up in such a bustling environment taught him the value of hard work, compromise, and the sheer determination required to stand out...
