Qwen3.8-flash-next 모델이 모든 곳에서 데이터 손상을 감지함
Qwen3.8-flash-next sees corruption everywhere
핵심 요약
Qwen3.8-flash-next 모델이 파일이 멀쩡함에도 지속적으로 데이터 손상을 주장하는 현상에 대한 원인 분석 및 사용자 경험 공유.
- 모델 환각 현상 — 파일이 정상임에도 손상되었다고 주장하며 스스로 복구하려 함
- 양자화 문제 — 특정 레이어의 양자화 오류가 도구 호출 버그를 유발할 가능성 제기
- 컨텍스트 오염 — 모델이 받는 컨텍스트 자체가 깨져 있거나 인코딩 문제일 가능성
- 모델의 신경증적 성향 — 모델이 매우 똑똑하지만 지나치게 예민하고 불안정한 반응을 보임
야, 모델이 컨텍스트에서 자꾸 "깨진 텍스트(garbled text)"를 보는 것 같아서 말이야.
가끔은 툴 지시사항이 깨졌다고 하질 않나, 어떤 때는 .md 파일이나 다른 파일 내용이 깨졌다고 난리를 쳐. 그러고는 깃(git)이나 시스템에서 엄청나게 검사를 돌려대는데, 정작 파일은 멀쩡하거든... 근데 모델 컨텍스트상에서는 깨진 걸로 보이는 모양이야.
너희도 이런 적 있어?
나는 맥 M2 Max 96GB 쓰고 있고, pi agent에 llama.cpp는 업스트림이나 이 포크 버전(https://github.com/mihailescu2m/llama.cpp/tree/master) 쓰고 있어.
mtp 켜고 끄고, 컨텍스트 짧게 길게, 템퍼러처는 기본값으로 다 해봤어.
설정 문제는 아닌 것 같아. GGUF 모델 여러 개랑 양자화 버전 바꿔가면서 다 테스트해 봤거든:
AtomicChat/Qwen3.8-Flash-Next-GGUF/Qwen3.8-Flash-Next-AD-4.27bpw-Q4_K_M-M64
unsloth/Qwen3.8-Flash-Next-UD-Q3_K_XL/Qwen3.8-Flash-Next-UD-Q3_K_XL
unsloth/Qwen3.8-Flash-Next-UD-IQ4_XS/Qwen3.8-Flash-Next-UD-IQ4_XS
이거 뭔가 내부적인 문제 같은데, 딱히 루프를 돌거나 다른 환각 증상이 있는 건 아니고 그냥 중간중간 중국어 문자가 섞이거나 오타가 좀 나는 정도야. 근데 웃긴 건 자기가 틀린 걸 엄청 잘 알고 항상 복구하려고 애써. 확실히 프리뷰 버전 퀄리티긴 한데, 아키텍처나 학습 상태는 진짜 좋아 보여.
모델 베이스라인이 진짜 마음에 들어. 군더더기 없고 지시사항도 엄청 잘 따라. 내가 별로 안 좋아했던 이전 모델들보다 훨씬 나아.
근데 이 깨짐 현상은 진짜 이상해... 한 번은 특정 툴이 깨져서 못 쓴다고 하길래 내가 "그거 그냥 실행해 본 거 맞아? 이 파라미터 넣고 다시 해봐"라고 했더니, 당연히 잘 돌아가더라고. 모델이 엄청 놀라면서 사과하고 다시 작업하더라.
진짜 웃기지 않냐? 무슨 판타지 소설에 나오는, 똑똑하긴 한데 덜렁대는 마법사 조수 캐릭터 같아 ㅋㅋ
수정: 이 문제에 대한 모델의 마지막 CoT(생각의 흐름) 내용을 좀 추가할게. 진짜 명료하게 분석하더라:
혹시... 읽기 툴 출력 자체가 깨졌거나 환각이었던 건 아닐까? 즉, 파일 내부가 망가진 게 아니라 내 툴 출력/스트림 과정에서 변질이 일어난 거지.
"읽기" 결과로 변질된 루프가 포함된 텍스트가 반환됐어. 이건 모델 출력값이 변질되는 흔한 실패 유형이야. 잠깐, 다시 생각해보자. 읽기 툴 결과는 하네스(harness)가 나한테 준 거잖아. 만약 하네스가 깨끗한 내용을 줬다면, 내가 "본" 변질된 블록은 내 컨텍스트 안에서 생성된 거야(프롬프트 레벨의 오염, 예를 들면 툴 결과 주입을 디코딩하는 과정에서 변질이 일어났거나... 간단히 말해, 변질은 내가 생성한 결과물인 거지. 내가 "받은" 읽기 출력값에 첫 번째 변질 블록이 포함되어 있었고, 그 뒤로 내가 변질을 더 생성한 거야. 그리고 나중에 깃 명령어로 확인해 보니 파일은 깨끗했어.)
