DeepSeek-V4-Flash-0731 사용자들을 위한 공지 — 대화 도중에 시스템 역할 메시지로 프롬프트 캐시 날리지 마세요

아직 어떻게 해야 할지 잘 모르겠네. Roocode, Zoocode, Cline 같은 거 쓸 때 이거 제대로 작동하게 하려면 어떻게 해야 한다고 봐? 나는 Roocode/Zoocode(Cline 포크)를 쓰고 있는데 apply_diff가 거의 비어있고 작동을 안 해서 계속 에러가 나. 여기 관련해서 글을 올렸어: https://www.reddit.com/r/LocalLLM/comments/1vdwp1y/looking_for_help_with_deepseekv4flash0731_on_vllm/

그게 이 문제 때문에 발생하는 건지는 잘 모르겠어, 미안.

오케이 고마워:)

엔진이 템플릿을 덤프하게 하는 것 말고는 딱히 빠른 테스트 방법은 모르겠네. llama.cpp에서 어떻게 하는지 기억은 안 나는데, 뭐 슬래시 커맨드가 있을 거야. 결국 하네스가 system 역할 메시지를 쓰느냐에 달린 문제거든. 난 내가 직접 만든 개인용 하네스를 써서 너한테는 별로 도움 안 될 거야 하하. 내 개인적인 해결책은 모델 설정에 send_system_messages_via 옵션을 추가하는 거였어. 다른 모델들은 기본값을 system으로 두고, dsv4f만 latest_reminder로 설정했지.