r/LocalLLaMA•2개월 전•74•39

Laguna S-2.1 관련 공지 - 업데이트된 채팅 템플릿과 GGUF를 사용하세요

PSA on Laguna S-2.1 - Use the updated chat template and GGUF

핵심 요약

Laguna S-2.1 모델의 GGUF 및 채팅 템플릿 업데이트를 통해 사고 과정(thinking) 오류와 툴 호출 문제를 해결했습니다.

GGUF 업데이트 — yarn_attn_factor를 1.0으로 수정하여 llama.cpp 호환성 개선함
채팅 템플릿 수정 — 사고 과정 출력 오류 및 툴 호출 문제 해결함
성능 개선 — 업데이트 후 모델의 추론 품질이 눈에 띄게 향상됨
사용자 피드백 — 템플릿 중복 코드 등 일부 미흡한 점이 지적됨

[블록 1/7] 공식 GGUF 레포지토리 링크:

[블록 2/7] https://huggingface.co/poolside/Laguna-S-2.1-GGUF/tree/main

[블록 3/7] 모든 GGUF 파일은 약 5시간 전에 이 수정 사항을 적용받았습니다 - yarn_attn_factor를 1.0으로 수정 (llama.cpp가 mscale을 도출함)

[블록 4/7] 그리고 채팅 템플릿은 많은 깨진 사고 과정(thinking), 사고 과정 보존, 툴 호출 문제를 수정합니다

[블록 5/7] 채팅 템플릿:

[블록 6/7] https://huggingface.co/poolside/Laguna-S-2.1-GGUF/blob/main/chat_template.jinja

[블록 7/7] 지금까지 모델은 훨씬 더 잘 작동하는 것으로 보입니다.

원문

커뮤니티 목록

r/LocalLLaMA•2개월 전•74•39

Laguna S-2.1 관련 공지 - 업데이트된 채팅 템플릿과 GGUF를 사용하세요

PSA on Laguna S-2.1 - Use the updated chat template and GGUF

핵심 요약

Laguna S-2.1 모델의 GGUF 및 채팅 템플릿 업데이트를 통해 사고 과정(thinking) 오류와 툴 호출 문제를 해결했습니다.

GGUF 업데이트 — yarn_attn_factor를 1.0으로 수정하여 llama.cpp 호환성 개선함
채팅 템플릿 수정 — 사고 과정 출력 오류 및 툴 호출 문제 해결함
성능 개선 — 업데이트 후 모델의 추론 품질이 눈에 띄게 향상됨
사용자 피드백 — 템플릿 중복 코드 등 일부 미흡한 점이 지적됨

[블록 1/7] 공식 GGUF 레포지토리 링크:

[블록 2/7] https://huggingface.co/poolside/Laguna-S-2.1-GGUF/tree/main

[블록 3/7] 모든 GGUF 파일은 약 5시간 전에 이 수정 사항을 적용받았습니다 - yarn_attn_factor를 1.0으로 수정 (llama.cpp가 mscale을 도출함)

[블록 4/7] 그리고 채팅 템플릿은 많은 깨진 사고 과정(thinking), 사고 과정 보존, 툴 호출 문제를 수정합니다

[블록 5/7] 채팅 템플릿:

[블록 6/7] https://huggingface.co/poolside/Laguna-S-2.1-GGUF/blob/main/chat_template.jinja

[블록 7/7] 지금까지 모델은 훨씬 더 잘 작동하는 것으로 보입니다.

주요 댓글

r/localllama

사용자들은 업데이트된 템플릿의 기술적 오류(코드 중복 등)를 지적하면서도, 전반적인 성능 향상과 최적화에 대해서는 긍정적인 반응을 보이고 있습니다.

템플릿이 정말 수정된 건가요? 2일 전에 변경되었던데요. 그리고 여전히 코드 중복이 보이네요:
{%- set preserve_thinking = preserve_thinking | default(false) -%}

{%- set preserve_thinking = preserve_thinking | default(false) -%}

그 중복이 실제로 문제를 일으키지는 않을 거예요. 그냥 preserve_thinking 변수를 두 번 설정하는 것뿐인데 둘 다 같은 값이니까요. 물론 중복은 실수지만, 이슈가 되지는 않습니다.

저런 조잡한 코드가 있다는 게 딱히 신뢰가 안 가네.

맞아. 이번 릴리즈는 좀 급하게 나온 느낌이야. 아직 DFlash는 제대로 작동을 안 하네. GGUF 업데이트가 방금 있었는데, 업데이트하고 나서 모델 성능이 오히려 더 떨어진 것 같아. 유망한 모델 같긴 한데, 데일리로 쓰려면 한 번 더 다듬고 템플릿이나 다른 지원 코드들도 좀 더 손봐야 할 듯.

오타가 있거나 복사 붙여넣기가 중복되었을 수도 있겠네요. 마지막 변경 사항은 "{%- set enable_thinking = enable_thinking | default(true) -%}"였습니다.

이상한 점은 최신 GGUF가 최신 chat_template을 사용하지 않으면 thinking 태그를 제대로 시작하지 않는다는 겁니다. 그래서 제 추측으로는 GGUF 내의 템플릿이 업데이트되지 않은 것 같아요. 그렇다면 GGUF가 chat template 수정본보다 최소 1개 버전 뒤처져 있다는 뜻이겠죠. 이상하지만 제 테스트에서는 chat template 없이는 계속 thinking 태그 문제가 발생했습니다…

llama.cpp는 템플릿이 지원하고 사용자가 끄지 않은 경우 항상 기본적으로 사고 과정을 활성화하기 때문에, 그 변경 사항이 별다른 영향을 주지는 않을 것 같아요.

chat_template.jinja 파일을 열어보면 쉽게 확인할 수 있어요: https://huggingface.co/poolside/Laguna-S-2.1-GGUF/blob/main/chat_template.jinja. 6번과 7번 줄에 여전히 중복된 코드가 있네요. 그 외에는 템플릿이 이틀 전과 동일해 보입니다.

죄송합니다, 무슨 말씀인지 이제 알겠네요. 제가 제대로 이해하지 못했었네요. 채팅 템플릿을 적용했을 때와 안 했을 때 테스트를 해봐 주실 수 있을까요? 저는 그게 제 thinking 태그 문제를 해결했다고 확신하거든요. 공식 GGUF에서 채팅 템플릿 인자를 빼면, thinking 블록이 채팅창으로 새어 나오고 마지막에 </think>가 찍히더라고요. 그것도 그쪽에서 제공한 최신 GGUF를 썼는데도 말이죠. 정말 이상한 일입니다.

-1

맞아요, Shoddy 말이 맞아요. 이 설정에서 preserve thinking은 기본값이 false이고, 소스 레벨에서 확실히 중복되어 있네요. 이 변경 사항은 그들이 기대하는 효과를 내지 못할 것 같아요. 정말 아쉬운 부분인데, 가볍게 말하는 게 아니라 이건 말 그대로 검증하고 수정하기 가장 쉬운 부분이거든요.

너무 서둘러서 출시한 느낌이네요. 기본적인 테스트만 했어도 이런 눈에 띄는 문제들은 다 발견했을 텐데 말이죠. 사고 과정이 없거나, 과도하게 생각하거나, 루프에 빠지는 현상들은 기본적인 테스트에서 거의 즉시 나타났을 겁니다.

그들이 성공해서 제대로 고쳐내길 정말 바랍니다.

이것도 참 안타까운 일이죠. 제대로 시작할 수도 있었을 텐데 말이에요. 많은 사람들이 추론 기능이 작동하지 않는 줄도 모르고 이 모델을 테스트했고, 원샷이나 코드베이스로 테스트하다가 성능이 엉망으로 나오니까(당연하죠, 사고/추론 단계가 없었으니까요) 모델을 쓰레기 취급해버렸죠.

이 분야에는 정말 좋은 모델들이 많아서(100b / a10b 파라미터 정도) 경쟁이 치열한데, 이번의 엉망인 출시가 분명 도움이 되진 않았을 겁니다.

아직 희망을 버리진 않았지만 저는…

길이 제한으로 뒷부분이 생략된 댓글입니다 · 원문에서 전체 보기 →

출시된 상태로 어떻게 벤치마크에서 그런 점수를 받았다는 건지 도무지 이해가 안 가네요.

아마 자체적인 커스텀 추론 엔진에서 돌린 거 아님? 적어도 llama.cpp는 안 쓴 것 같음.

무슨 말씀인지 이제 알겠어요. 제 잘못입니다. 기회가 된다면 채팅 템플릿을 적용했을 때와 안 했을 때 GGUF를 테스트해 봐 주세요. 채팅창으로 thinking 내용이 새어 나오는지 알려주세요. 채팅 템플릿을 제공하지 않으면 저한테는 아주 일관되게 발생하는 현상이거든요.

yarn_attn_factor 수정은 흥미롭네요. 모델 메타데이터를 업데이트하고 효과가 있는지 확인해 봐야겠어요.

원문r/LocalLLaMA