llama.cpp용 GGUF 모델을 위한 대화형 Jacobian-Lens 시각화 및 실시간 조종 도구
Interactive Jacobian-Lens visualizer and live steerer for GGUF models on llama.cpp
핵심 요약
GGUF 모델의 내부 개념을 시각화하고 실시간으로 조종할 수 있는 새로운 도구인 'jlens-gguf'가 공개되었습니다.
- Jacobian-Lens 도구 — GGUF 모델의 내부 개념을 시각화하고 실시간으로 조종함
- llama.cpp 호환성 — 네이티브 GGUF 서버를 통해 모델 관찰 및 제어 기능을 제공함
- 메모리 요구사항 — 모델 크기의 약 1/8 정도의 추가 RAM이 필요함
- 오픈소스 공개 — Anthropic의 연구를 기반으로 한 구현체가 GitHub에 공개됨
HF나 PyTorch용 jacobian lens 프로젝트는 많았지만 GGUF나 llama.cpp용은 없었음. 그래서 이 문제를 해결하려고 Fable 5를 xhigh로 설정하고 작업함(물론 인간의 면밀한 감독하에 😎). Anthropic의 논문과 코드, 그리고 내가 가장 좋아하는 추론 엔진인 llama.cpp와 GGML에서 영감을 얻음.
코드 리뷰와 몇 번의 테스트를 거쳤음.
모델 관찰 및 j-space 스와핑/제거/조종을 위한 네이티브 GGUF 서버(llama.cpp 기반, git 동기화)가 포함됨. 실행 중인 llama-server 모델을 관찰할 수도 있음(조종은 불가). dense 및 MoE GGUF 모델에서 작동함.
렌즈의 메모리 요구사항은 모델 크기의 약 1/8 수준임. 예를 들어 160GB 크기의 모델(예: Qwen3.5-397B UD-Q3_K_XL)은 렌즈를 위해 20GB의 RAM이 추가로 필요함.
https://github.com/igorbarshteyn/jlens-gguf
Anthropic의 보도 자료 및 논문: https://www.anthropic.com/research/global-workspace
Anthropic의 코드: https://github.com/anthropics/jacobian-lens
즐겁게 사용하세요!
