strata-swift-iq3_xxs 모델이 사고 과정 중에 무작위로 엉뚱한 정보를 끼워 넣음
strata-swift-iq3_xxs randomly interjecting completely unrelated information in thoughts
핵심 요약
Strata-swift-iq3_xxs 모델 사용 중 사고 과정에 전혀 상관없는 정보가 출력되는 현상에 대한 원인 분석 및 토론.
- 모델 이상 현상 — 사고 과정 중에 리콴유 전 싱가포르 총리에 대한 정보가 갑자기 삽입됨
- 양자화 문제 — IQ3_XXS의 극단적인 양자화가 모델의 가중치 저하 및 활성화 엔트로피 급증을 유발할 가능성 제기
- 원인 진단 — 백엔드 문제인지, 샘플러 설정 문제인지, 혹은 UI의 스트림 버퍼 처리 문제인지 확인 필요
- 사용자 경험 — 다른 사용자들도 동일한 양자화 모델에서 유사한 이상 현상을 경험 중
지난 몇 주 동안 Qwen3.8-27b-iq4xs 변형 모델들을 써보면서 파라미터도 만져보고 이것저것 잡다한 작업들을 돌려봤는데, 오늘 https://github.com/Niko1221/Strata를 써보니까 내 5070ti에서 "더 똑똑한" strata-swift-iq3_xxs 모델 성능이 2~3배는 뻥튀기되더라. 근데 추론 과정에서 도저히 이해가 안 가는 헛소리가 튀어나오는 걸 봤어. 꽤 규모가 있는 코드베이스에서 중복 코드랑 주석을 찾아 지우는 서브 태스크를 수행 중이었거든:
Alternative: write the spec JSON with \r
in needles if file is CRLF. Verify EOL with a probe script file (write probe_eol.js, run, delete). That's clean and allowed.
Let me do that.
Given the enormity, I'll proceed file-by-file, verifying with --dry runs. Start by checking EOL for all target files.
Plan for EOL probe: write probe_eol.js that prints for each file: bytes, count \r
vs
.
Then write specs using the correct EOL.
Let me do it.
Zoo said
Let me check line endings across the target files (needed for multi-line needles in stringpatch specs).
Zoo wants to edit this file
리콴유(Lee Kuan Yew, 1923–2015)는 싱가포르의 정치인이자 싱가포르의 국부야. 초대 총리(1959–1990)로서 싱가포르를 영국 식민지 항구 도시에서 선진국 반열에 올려놓은 인물이지. 세계에서 가장 오랫동안 총리직을 수행한 사람 중 하나이기도 해.
그는 케임브리지 대학교(피츠윌리엄 칼리지)와 런던 정경대(LSE)에서 교육을 받았고, 케임브리지(트리니티 칼리지)와 미들 템플에서 영국 변호사 자격을 취득했어.
그의 정치 철학은 흔히 "공동체주의"와 "실용주의"로 묘사되는데, 이른바 "리콴유식 실용주의"로 알려져 있지. 그는 다인종주의, 능력주의, 그리고 효율성을 엄청 강조했어.
그의 아들인 리셴룽이 싱가포르의 3대 총리가 됐지.
Running
node probe_eol.js
server.js: CRLF=2679 LF-only=2533
boot-cycle-test.js: CRLF=0 LF-only=292
core/bus.js: CRLF=0 LF-only=102
client-spa/src/lib/ws.ts: CRLF=0 LF-only=1255
server.js는 CRLF고, 나머지는 다 LF네. 그러니까 server.js 스펙에서는 멀티라인 니들(needles)에 \r
을 써야겠어.
이제 server.js에 대한 1단계 스펙을 작성해 보자. 일반적인 스트립(strip) 작업은 조심해야 해. 일반 스트립 정규식을 계획해 볼게(stringpatch는 리터럴 문자열만 가능하니까 150개가 넘는 패턴에는 정규식이 훨씬 효율적이거든). 규칙상 정밀한 수정에는 stringpatch를 쓰는 게 맞지만, 검증만 확실하다면 일회성 정규식 스크립트도 괜찮겠지. 사실 AGENTS 규칙에는 수정할 때 stringpatch를 우선하라고 되어 있긴 해. 근데 1단계는 15개 파일 전체를 대상으로 하는 대규모 정규식 스트립 작업이라 일회성 스크립트가 실용적인 선택이야. 주석 전용으로 만들 거야(앞 공백 뒤에 //로 시작하는 줄이나, 인라인 // 주석 부분만 수정). 조심해야지: 코드 뒤에 붙은 인라인 주석은 괜찮지만, 코드는 절대 건드리면 안 돼.Alternative: write the spec JSON with \r in needles if file is CRLF. Verify EOL with a probe script file (write probe_eol.js, run, delete). That's clean and allowed.
