Qwen3.8 27B vs Qwen3.6 27B vs Qwen3.5 27B, a slight improvement in oneshotting ability across generations.
Qwen 27B 모델 세대별 원샷 성능을 비교한 결과, 3.8 버전에서 2048 게임 구현 등 전반적인 성능 향상이 확인됨.
Qwen 모델의 성능 향상을 확인하는 테스트 방식과 프롬프트의 정확도에 대한 논쟁이 주를 이룹니다.
음, Aquarium 테스트 프롬프트를 확인해 봤는데, 왜 Qwen3.8-27B가 실패했는지 궁금했거든.
"[...] 나한테 html 파일 1개 줘"
감자튀김도 같이 줄까? :D
이건 좀 별로야. 작은 LLM한테는 너무 모호한 표현이고 자연어랑도 거리가 좀 있어. 동료한테 코딩을 시킬 때 그냥 '파일 하나 줘'라고 하진 않잖아. 어디에 파일을 만들길 원하는지 말해주겠지.
모델이 작을수록 프롬프트는 더 정확해야 해.
내 생각엔 "작업 디렉토리에 코드를 작성해..." 같은 식으로 하는 게 좋지 않을까
지적은 받아들일게, 프롬프트 작성할 때 좀 게을렀어. 하지만 이제는 모델한테 더 나은 답을 얻으려고 특정 방식으로 질문해야 하는 프롬프트 엔지니어링의 시대는 지났다고 봐. 이제 모델들은 사용자의 의도를 파악하기 위해 대충 쓴 프롬프트도 읽을 수 있어야 하고, 최근 출시되는 모든 모델들이 이미 그런 능력을 갖추고 있지 않나?
그게 핵심이 아니야.
물론 모델들이 할 수는 있겠지만, 그러면 결과물이 나빠지고 토큰만 낭비돼. 특정 기술(예: xyz 프로그램)을 벤치마크하고 싶다면 언어도 그에 맞춰야지.
사람도 똑같아. 과장된 예를 들어볼게: 공 20개 가져와... 으으으음... 쌀알 공? 사람 고환? 야구공? 공은 어디서 구하고? 저글링이라도 하라고? 내 앞에 놓으라는 거야?
가장 똑똑한 사람한테 일을 시켜도 지시가 모호하고 불분명하면, 아무리 똑똑한 사람이라도...
하지만 그러면 결과물이 나빠지고 토큰만 낭비돼.
그럼 그런 모델들은 더 나은 성능을 내거나 더 좋은 결과물을 만들어내지 못한다는 뜻이겠지? 근데 난 오히려 그게 내가 하고 있는 비교 테스트에 도움이 된다고 생각해. 운 좋게 잘 작동하면 그만이지 뭐.
네 답변들은 LLM 개발자들이 '바이브코더(vibecoders)'들이 뭘 원하는지 이해하는 데 도움을 줘. 걔들은 AI가 자기 마음을 알아서 읽어주길 바라거든. 프롬프트 엔지니어링보다는 대충 쓴 프롬프트를 선호하고, 모델이 자기 마음을 못 읽으면 그냥 그 모델이 구리다고 판단해 버리지. 내 생각엔 이게 LLM에 대한 올바른 접근 방식은 아니야. LLM은 다음 단어를 예측하는 모델이고, 그 말은 즉 출력값이 이전 컨텍스트에 달려있다는 뜻이니까. 이건 '쓰레기를 넣으면 쓰레기가 나온다(garbage in, garbage out)'는 원리와 비슷해.
'쓰레기를 넣으면 쓰레기가 나온다(GIGO)'는 컴퓨터 과학과 데이터 분석의 핵심 개념이야. 그건...
일리가 있는 말들이지만, 지금 이 테스트는 모델이 의도를 얼마나 잘 파악하는지, 다시 말해 얼마나 부정확한 프롬프트를 줘도 의미 있는 응답을 얻을 수 있는지를 보여주는 거야.
그래, 무슨 말인지 알겠는데 그건 OP가 의도한 테스트가 아니잖아. 특히 2.4T A95B 모델이랑 27B 모델을 비교하는 상황에서는 더더욱 그렇지.
OP는 충돌 감지가 포함된 어항 시뮬레이션이나 공 20개 같은 걸 원했는데, 모호한 언어를 사용하면 핸디캡이 생겨서 작은 모델들의 진짜 실력을 가리게 돼.
모델이 횡설수설하는 걸 이해하게 만드는 건 별도의 테스트로 해야지!
고마워. oneshotlm이 뭔지, 그리고 어떤 thinking mode를 썼는지 요약해 줄 수 있어?
Oneshotlm은 같은 프롬프트에 대해 여러 모델의 결과물을 비교하려고 최대한 많은 모델과 프롬프트의 원샷 데이터를 모아두는 곳이야. Thinking mode는 high로 설정했어.
{네 웹사이트인 것 같은데} 정말 고마워! 기능들을 다 살펴봤는데, 정말 잘 만들었어. 모델 비교하기가 쉬워서 정말 좋았는데, 벤치마크 점수 놀이(benchmaxxing)에 치우치지 않는 정확한 리더보드로 거듭나기 위한 팁을 몇 가지 주자면: 백엔드 테스트를 추가해 봐. AI에게 어려운 에이전트 코딩 과제를 주는 거지. 예: --> 암호화되거나 숨겨진 사이트에서 음악 다운로드하기. --> 백엔드 문제 해결하기...
고마워, 백엔드 테스트는 원샷보다 훨씬 좋은 업그레이드가 될 것 같아. 비교를 위해 시각적인 무언가를 정말 원하거든. 시각적 백엔드 테스트라니??
내 채팅방에 와서 얘기 좀 나눌 수 있을까? 내가 가진 개인 벤치마크 HTML이랑 프롬프트, 그리고 간단한 백엔드 자료들을 줄 수 있어. 벤치마크 점수 놀이 걱정 없이 모델을 비교할 수 있는 가장 쉬운 방법이 될 테니까 꼭 도와주고 싶어.
고마워, DM 보냈어.
너 사실상 모델들을 위한 벤치마크 점수 놀이 데이터를 자발적으로 큐레이션하고 있는 거네 ;)
그리고 커뮤니티가 모델 출시를 평가하도록 돕는 거지. ;) ;) ;)
NVIDIA가 에이전트 보안을 위한 오픈소스 샌드박스 'OpenShell'을 공개하며 업계 표준화를 주도하고 있습니다.
NVIDIA가 에이전트 보안을 위한 오픈소스 샌드박스 'OpenShell'을 공개하며 업계 표준화를 주도하고 있습니다.
Anthropic의 모델이 그동안 과도하게 사용하던 em dash(—)를 줄이는 등 세밀한 개선을 이뤄낸 것에 대한 사용자들의 긍정적인 반응입니다.
Anthropic의 모델이 그동안 과도하게 사용하던 em dash(—)를 줄이는 등 세밀한 개선을 이뤄낸 것에 대한 사용자들의 긍정적인 반응입니다.
