이 251토큰 프롬프트로 LLM 응답을 최대 83%까지 줄였습니다. 외계인의 문법에서 따왔죠.
This 251-token prompt cuts LLM responses by upto 83%. Built it from an alien's grammar.
핵심 요약
소설 '프로젝트 헤일메리' 속 외계인 로키의 말투를 차용해 LLM의 토큰 사용량을 획기적으로 줄인 프롬프트 공유.
- 토큰 절감 — 251토큰 프롬프트를 통해 LLM 응답 길이를 최대 83%까지 단축함.
- 외계인 문법 — 소설 '프로젝트 헤일메리'의 로키 캐릭터 말투를 참고해 간결한 문체 구현.
- 실용적 활용 — 복잡한 에이전트 파이프라인보다는 일상적인 대화 세션에서 토큰 제한을 극복하는 데 최적화됨.
- 오픈 소스 — 깃허브를 통해 일반 대화용과 파이프라인용(Signal 모드) 스킬 파일을 공개함.
LLM이 어떻게 작동하나요?에 대한 일반적인 Sonnet 4.6의 답변 — 335토큰.
같은 질문, 이 프롬프트를 활성화했을 때 — 56토큰:
LLM = Large Language Model. Big big big neural network. Trained on text text text. Learns patterns. Predicts next word. Repeat repeat. Sounds smart. Humans find useful. Inside: numbers. Many many numbers. Called weights. Weights store knowledge-shape. Not real understanding. Pattern-matching. Very very good pattern-matching. You want more detail on specific part. Question?
이건 로키에게서 영감을 받았어요. 앤디 위어의 소설 '프로젝트 헤일메리'에 나오는 외계인 엔지니어죠. 밀도 높고, 직접적이고, 군더더기가 없어요. 그 문법을 추출해서 스킬 파일로 만들었습니다.
만들면서 배운 점: 462토큰의 명시적 규칙은 약한 출력을 만들어냈어요. 최종 버전은 251토큰의 하이브리드 방식입니다. 예시가 말투를 전달하고, 규칙이 예외 상황을 잡아줍니다.
약 5번의 대화에서 손익분기점을 넘깁니다. 그 이후는 순수하게 절약되는 거죠.
리포지토리에는 추가로 시그널 모드 스킬 파일도 있습니다(밀도는 같지만 캐릭터성은 없음 — AI 파이프라인용): github.com/SijuEC/eridani-speak
전체 글: thelongrep.com


