토큰 수준에서 LLM과 에이전트 제어하기: 토큰 시각화, 제어, 모델 검사 및 데이터 주석을 위한 대화형 도구

작성자님, 언젠가 이 아이디어를 이맥스(emacs)용으로 훔쳐갈 생각입니다. 지금은 너무 귀찮아서 안 하지만, 이 프로젝트를 보니 영감이 떠오르네요. 나중에 코드에서 logprobs를 어떻게 가져오는지 살펴볼 생각인데, 별개로 작성자님은 사용자가 logprobs나 다른 요소들을 어떤 방식으로 보는 게 좋다고 생각하시나요?

예를 들어, 이맥스에서는 메인 콘텐츠와 동기화된 테이블을 옆에 띄우는 방식을 설계할 수 있겠죠. 하지만 대화 분기가 두 개 있다면 시각화된 'undo-tree'를 만드는 셈이 됩니다. 한 가지 활용 사례로 '팬케이크'라는 단어를 찾기 위한 정규식을 만들거나, 음식 토큰을 찾는 분류기를 실행하는 함수를 만들 수 있겠죠. 그런 다음 음식 토큰으로 수렴하는 서로 다른 분기에서 생성된 토큰들을 비교하고 싶을 겁니다. 여러 분기가 갈라졌다가 다시 합쳐지는 과정을 사용자가 확인하기에 편리한 UI는 어떤 형태일까요? 사용자가 설치한 '팬케이크'(또는 음식 분류) 중단점(predicate)으로 분기들이 어떻게 수렴하는지, 혹은 수렴하지 못하는지를 보여주는 시각적 장치를 각 분기에 표시하는 걸 상상해 봅니다.

기본적으로 사용자가 더 편리하게 쓸 수 있도록 어떤 UI 기능이나 요소를 설계할지 궁금합니다. 지금은 토큰과 로짓(logit) 쌍을 보여주는 드롭다운 팝업이 있는데, 더 높은 수준의 관계 정보를 보여주기는 어렵잖아요.

관계형 또는 범위 분류를 수행하는 BERT 기반의 새로운 분류기들도 있으니, 사용자가 'U와 W 타입의 영어 절을 정의하고, W 타입으로 분류되는 모든 분기를 중단시키고 싶다'는 식의 디버깅 중단점을 설정할 수도 있겠죠. 그러면 토큰 확률이 아니라 절 함의 확률 같은 걸 시각화할 수 있을 겁니다. 파이썬 스크립트에서 GDB를 사용해 C 프로그램의 재귀를 가로채 matplotlib으로 배열 시스템을 그리는 것과 비슷하지만, 이건 자연어 산문에 대한 시각화인 셈이죠.

혹시 아이디어 있으신가요? 지금 당장은 구현하기 어렵더라도, 프로그램에 넣고 싶은 미친 아이디어가 있다면요?

레딧 스레드에 이맥스에 대한 열정을 가지고 나타난 그 히피 같은 사람을 위해 추천 누르고 간다 ㅋㅋㅋ

SillyTavern에 이미 있는 기능이긴 한데, 괜찮은 모델을 쓸 때는 logprobs를 구하기가 어렵더라.

언급해주셔서 감사하고 소중한 피드백 고맙습니다! 댓글 보고 실제로 SillyTavern 기능을 테스트해봤어요.

SillyTavern에도 토큰 확률 기능이 있지만, onPanda는 훨씬 더 나아갔습니다. ST의 현재 구현은 추론 토큰이나 도구 호출 수정을 지원하지 않고, 실용적인 prompt_logprobs 기능도 부족하거든요. 게다가 ST는 토큰 확률을 별도 창에 띄우는 반면, onPanda는 이를 본문 흐름에 직접 통합해서 상호작용이 훨씬 매끄럽고 완벽합니다.

logprobs를 구하기 어렵다는 점에 대해서는, 여기 r/LocalLLaMA에 있으니 좋은 소식이 있네요. 주류 로컬 추론 백엔드(vLLM, llama.cpp, Ollama 등)는 사실 logprobs와 텍스트 이어쓰기를 아주 잘 지원합니다. 그래서 로컬 모델을 돌리기만 하면 logprobs를 얻는 건 매우 안정적이에요!

솔직히 진짜 끝내주는 시스템이라고 생각함. 나도 꽤 냉소적인 편인데, 여기에 인생을 많이 갈아 넣은 게 눈에 보여.