Qwen3.8-27b is the first Local model im able to blindly trust
Qwen3.8-27b 모델의 뛰어난 에이전트 성능과 안정성에 대한 사용자들의 경험 공유 및 주의 사항.
프론티어 모델한테 작업 하나 던져놓고, 딴길로 샐까 봐 전전긍긍하면서 감시 안 해도 되는 그 느낌 알지? Qwen3.8-27b가 로컬 작업에서 드디어 그 경지에 도달하게 해줬다. 8시간 넘게 쉬지 않고 계속 에이전트 작업 돌리고 있는데, 실수 하나 없이 완벽함. 진짜 미쳤다!!
대부분의 사용자는 모델의 뛰어난 성능을 칭찬하면서도, 로컬 모델을 맹목적으로 신뢰할 때 발생할 수 있는 시스템 파괴 위험성에 대해 강력히 경고하고 있습니다.
제발 로컬이든 원격이든 어떤 모델도 맹목적으로 신뢰하지 마.. 신뢰하되 검증은 필수임.
신뢰하되 검증하라
난 Qwen을 신뢰하고 아침에 일어나서 제일 먼저 홈 폴더가 그대로 있는지 확인하는 방식으로 검증함.
홈 폴더는 그대로 있을 뿐만 아니라, C 드라이브에 tmp라는 새 폴더까지 생겼더라! 공짜 파일 개이득!
파일 생성 툴은 주되 삭제 툴은 주지 마. 그럼 문제 해결 ;)
궤도를 벗어날까 봐 걱정하며 감독할 필요가 없다고?
내 생각에 여기서 말하는 '신뢰'는 몇 시간 동안 방치해도 된다는 뜻인 것 같아(게으름 피우지 않고 15분 만에 결과물 없이 멈추지 않음, 반복/무한 루프에 빠지지 않음 등). 결과의 품질을 말하는 게 아니라.
네 댓글 내용을 내 시스템 프롬프트에 추가해둬야겠네. 그럼 정신줄 잡고 있겠지.
저처럼 안 좋은 경험을 했던 사람들을 위해 어떤 퀀트/버전과 설정을 쓰는지 알려주세요, 감사합니다!
난 INT8, 8비트 KV를 쓰고 있어. 내 생각엔 이게 GOAT임. 실제 사용 사례 중 하나에서는 DSV4Flash0731도 이겼어. 일반화하진 마, DSV4Flash도 여러 사용 사례를 테스트해보면 최소한 동급이거나 더 나을 수도 있다고 생각함. 하지만 난 DSV4Flash가 도저히 해결 못 하던 고질적인 코딩 문제가 있었거든. 며칠 전에 27B에 던져놓고 잤는데 일어나 보니 '해결됨' 메시지가 떠 있더라고.. '그래, 어디 한번 보자' 싶었지. 와, 진짜 놀랐어. 실제로 해결됐더라고!
전체 세부 정보(A …
나도 신뢰해보려 했는데, sudo를 쓸 수 없다는 걸 깨닫더니 나한테 묻지도 않고 작업을 수행할 프로그램을 클론하고 빌드해서 설치하더라. 불행히도 그전에 pip install --break-system-packages를 쓰는 걸 놓친 뒤였지. 이제는 모든 걸 샌드박스에서 돌려.
모델이 sudo를 쓰려고 할 때 그걸 감지해서 호출을 차단하고, 모델한테 알려준 뒤 나한테 실행할 명령어를 내놓으라고 하는 Pi 확장 기능을 쓰고 있음. 지금까지 한 번도 실패 안 함.
네 홈 폴더를 삭제하기 전까지는 그렇게 생각하겠지.
3.8이 탄탄하다고 해서 샌드박스 없이 셸 권한을 넘겨줘도 된다는 건 아님. 결과물을 신뢰하는 거랑 모델이 파괴적인 명령어를 감독 없이 실행하게 두는 건 완전히 별개의 문제임.
“맹목적인 신뢰”
지난 몇 주 동안 SOTA 모델로 돌려보면서 에러, 스펙 이탈, 실패하거나 잘못된 유닛 테스트 같은 것들을 기록해 봤는데... harness를 튜닝해도 실수를 엄청나게 많이 하고, 보통 고치는 데 2~3 세션은 필요하더라. Opus 5로 돌릴 때랑 비교하면 같은 스펙이나 계획에서 에러가 1/8 수준인데 말이지. Q8에 풀 BF16 KV로 돌리는 중인데... 좋긴 하지만, 그렇게까지 좋은 건 아님.
난 LLM 에이전트가 샌드박스 없이 돌아가는 걸 절대 안 믿음. 난 모든 걸 컨테이너에서 돌리고, 에이전트가 건드려도 되는 파일만 마운트해서 쓰는데, 대체로 아주 만족스러움.
샌드박스는 어떻게 함?
NVIDIA가 에이전트 보안을 위한 오픈소스 샌드박스 'OpenShell'을 공개하며 업계 표준화를 주도하고 있습니다.
NVIDIA가 에이전트 보안을 위한 오픈소스 샌드박스 'OpenShell'을 공개하며 업계 표준화를 주도하고 있습니다.
ChatGPT의 과도한 의료 상담 회피와 병원 방문 권유를 풍자하는 밈에 대한 공감과 논쟁.
ChatGPT의 과도한 의료 상담 회피와 병원 방문 권유를 풍자하는 밈에 대한 공감과 논쟁.
Claude 5.5의 뛰어난 성능에 감동해 AI에게 고마움을 표하는 사용자의 심리와 이를 공감하는 커뮤니티 반응.
Claude 5.5의 뛰어난 성능에 감동해 AI에게 고마움을 표하는 사용자의 심리와 이를 공감하는 커뮤니티 반응.