코드베이스를 위한 Karpathy 스타일 LLM 위키

이 서브레딧에서 본인 프로젝트로 반응 얻기는 힘들겠지만... 저도 같은 문제를 고민하고 있었어요.

우리는 /new나 /clear를 할 때마다 이전 컨텍스트를 전부 날려버리는데, 왜 다시 돌아보지 않는 걸까요?

제 유일한 질문은, 왜 런타임에 대화가 이미 캐싱되어 있을 때 훅을 거는 방식 대신 주기적으로 대화를 다시 훑는 방식을 선택하셨나요?

하하하, 그런 것 같네요. 반응이 좀 있길 바랐는데 말이죠.

질문에 답하자면, 훅은 메시지가 끝났을 때만 알려주거든요. 무슨 일이 있었는지, 프로젝트와 어떻게 관련 있는지, 위키의 어떤 부분을 업데이트해야 할지 이해하려면 대화 전체를 통째로 봐야 합니다. 직관적으로 볼 때, 실시간 훅 방식은 위키의 품질 측면에서 성능이 더 떨어질 것 같아요. 그래도 차이를 확인해 볼 가치는 있겠네요.

저는 모든 프로젝트에 Karpathy의 LLM 위키를 사용해요. 정말 훌륭하죠. 그냥 요약본을 붙여넣기만 하면 LLM이 위키를 만들고 나중에 그걸 어떻게 써야 할지 바로 알게 되니까요.

그렇긴 한데, 여러 프로젝트에 몇 달 동안 빡세게 써보니까 슬슬 한계가 보이기 시작하네요.

한 프로젝트에 맞는 방식이 다른 프로젝트에는 안 맞을 때가 있어요. 워크플로우도 다르고 우선순위도 다르니까요.

그래도 전반적으로는 아무것도 없는 것보다 훨씬 낫습니다. 제 한계치가 더 넓어지고 시간을 거의 안...

한계가 보이는 가장 큰 이유는 정기적으로 업데이트되지 않기 때문이라고 생각해요. 제가 원하는 건 초기 위키를 만들고, 제가 작업하면서 계속 그에 맞춰 적응해 나가는 거예요.

멋진 아이디어네요. 근데 5시간마다 새로고침하는 건 좀 이상해 보여요. 대화 스트림에 훅을 걸어서 점진적으로 업데이트하면 될 텐데요.