r/LocalLLaMA•약 1개월 전•260•93논쟁

이상하게도 Qwen3.8 27b의 Temperature 설정에 대해 아무도 얘기 안 하네

Weirdly, no one talks about Temperature setting for the Qwen3.8 27b

핵심 요약

Qwen3.8 27b 모델의 Temperature 설정값(기본값 1.0)이 모델의 사고 방식과 성능에 미치는 영향에 대한 논의.

Temperature 설정 — 기본값 1.0이 모델의 불필요한 사고 과정을 유발할 수 있음
성능 최적화 — 0.7 정도로 낮추면 불필요한 생각 없이 효율적으로 작업함
샘플링 파라미터 — 많은 사용자가 벤치마크에만 집중하고 설정값은 간과함
추론 제어 — reasoning_budget 대신 chat-template-kwargs를 통한 제어가 권장됨

기본값이 1.0이라는 점은 명심해라. 근데 다들 새 모델이 얼마나 생각을 많이 하는지에만 꽂혀서, 추론 예산을 제한하거나 추론 레벨을 낮추는 데만 혈안이 되어 있네.

Temperature를 0.7로 설정해 봐라. 그럼 파일 하나 살짝 수정하려고 할 때마다 책 한 권 분량으로 생각하는 짓은 안 할 거다.

문제는 이거지. 이렇게 하면 모델 성능에 얼마나 영향을 줄까? 작업별로 가장 적절한 temp 파라미터 값은 대체 뭘까?

원문

커뮤니티 목록

r/LocalLLaMA•약 1개월 전•260•93논쟁

이상하게도 Qwen3.8 27b의 Temperature 설정에 대해 아무도 얘기 안 하네

Weirdly, no one talks about Temperature setting for the Qwen3.8 27b

핵심 요약

Qwen3.8 27b 모델의 Temperature 설정값(기본값 1.0)이 모델의 사고 방식과 성능에 미치는 영향에 대한 논의.

Temperature 설정 — 기본값 1.0이 모델의 불필요한 사고 과정을 유발할 수 있음
성능 최적화 — 0.7 정도로 낮추면 불필요한 생각 없이 효율적으로 작업함
샘플링 파라미터 — 많은 사용자가 벤치마크에만 집중하고 설정값은 간과함
추론 제어 — reasoning_budget 대신 chat-template-kwargs를 통한 제어가 권장됨

Temperature를 0.7로 설정해 봐라. 그럼 파일 하나 살짝 수정하려고 할 때마다 책 한 권 분량으로 생각하는 짓은 안 할 거다.

문제는 이거지. 이렇게 하면 모델 성능에 얼마나 영향을 줄까? 작업별로 가장 적절한 temp 파라미터 값은 대체 뭘까?

주요 댓글

r/localllama

대부분의 사용자가 벤치마크 수치에만 집중하느라 Temperature 같은 핵심 설정을 간과하고 있으며, 추론 제어 방식에 대해서는 사용자들 간에 의견이 갈리고 있습니다.

213

솔직히 여기 사람들은 다른 모델 쓸 때도 Temperature 설정 얘기 잘 안 함... 다들 벤치마크, 토큰 속도, 양자화, 하네스 얘기뿐이지.

ㄹㅇ. 슬픈 현실은 다들 제대로 알지도 못하면서 수천만 원씩 쏟아붓고 있다는 거임. 뚜렷한 목적도 없이. 그냥 FOMO가 엄청난 거지.

그래도 좋은 장난감들이긴 하잖아.

SillyTavern 서브레딧이랑 서버에서는 설정 얘기 많이 함. 경험담 찾기 좋은 곳임. 사람들이 LLM이 너무 로봇 같다고 불평하면서 정작 xtc나 dry 같은 건 쓰지도 않고, 엄청 딱딱한 top k 샘플러만 돌리면서 모델이 왜 이렇게 경직됐냐고 의아해함.

수정: 코딩용으로 xtc 샘플러는 비추. 안 써봤지만 기대는 안 됨. 로컬에서 코딩용 모델을 못 돌려서 실험을 못 해봄.

XTC 쓰면 쓰레기 코드 나올 듯. 솔직히 난 llama.cpp 패치로 실험 중인데, 기본 생성은 0.1, 툴 호출 구간은 0.0, 추론 중에는 1.0으로 설정함. 코드는 거의 모든 경우에 Top-Choice여야 하니까.

샘플링 파라미터 지식이 한곳에 모여 있는 스레드나 페이지 알려줄 수 있음? 서브레딧도 좋긴 한데 다 뒤져보려면 며칠은 걸릴 듯.

top p랑 top k가 "기본"이지.

min p가 더 낫긴 한데 반복될 위험이 있음.

DRY는 무조건 써야 함.

dynatemp랑 mirostat은 마이너한 거고.

rep pen, presence pen 같은 건 이제 구식임.

XTC는 그냥 정신 나간 기믹이고.

typical p는 창작할 때 내가 제일 좋아하는데, 신뢰성 없다고 생각하는 사람들도 많음.

코딩할 때 dry 완전 쓰레기 아님? 작업에 맞춰서 설정을 조정해야지... 모든 상황에 다 좋은 만능 설정 같은 건 없음.

심지어 특정 작업을 할 때도 만능 설정 같은 건 없음. 어떤 설정이 제일 잘 먹힐지는 모델마다 다르니까...

mirostat 지린다

아쉽게도 없음. 흩어져 있어서 직접 찾아야 함. 인기 있는 프리셋부터 시작하는 게 좋음. 디스코드 쪽이 더 나음. 항상 사람 많아서 물어보면 됨.

https://rentry.org/samplers
여기 있다

샘플러가 어떻게 작동하는지 궁금한 사람들을 위해 도움이 될 만한 링크 몇 개 남김 (그렇게 어렵지 않음):

Local LLM Glossary

Your settings are (probably) hurting your model - Why sampler settings matter

LLM Samplers Explained

[LLM Samplers Visualized]

길이 제한으로 뒷부분이 생략된 댓글입니다 · 원문에서 전체 보기 →

ST 쪽 애들은 좀 이상함. 한쪽에는 llama 시절부터 여기 있었던 모델 개발자나 숙련된 RP 유저들이 있어서, 자기들 goon sesh 더 리얼하게 만들려고 최첨단 엔터프라이즈 솔루션이랑 기기들을 막 짬뽕해서 쓰고 있음. 나도 RAG를 내 소프트웨어 개발 업무에서 쓰기 훨씬 전에 ST를 통해 처음 알았음 ㅋㅋ. 반대쪽에는 API가 뭔지도 모르는 컴맹 수준 유저들도 엄청 많음. 거기 지식 수준 편차가 진짜…

길이 제한으로 뒷부분이 생략된 댓글입니다 · 원문에서 전체 보기 →

나도 동의함. 코딩은 잘 모르지만, 다들 까내리는 typical_p를 엄청 좋아함. 내 경험상 0.92-0.94 정도의 적당한 값을 top_p 대신 단일 샘플러로 쓰면 좋음. top_p는 벽돌처럼 너무 딱딱함.

가끔 이상한 게 튀어나오긴 하는데 그럴 때 스와이프 하면 됨.

예전엔 top_p로 멍청한 답변 나올 때마다 스와이프 엄청 했는데, typical이 훨씬 재밌음.

원문r/LocalLLaMA