Codex를 사용해 대규모 마크다운 파일을 검토하거나 참조할 수 있을까?

VS Code에서 Codex를 사용해서 그냥 물어봐. 난 항상 아주 큰 코드베이스로 작업하는데, Codex는 문제없이 다 처리해.

크레딧 소모가 걱정됐거든. 예전에 10분짜리 쿼리 타이머에 5만 줄의 코드를 보내는 Astra 스레드 때문에 곤란했던 적이 있어! 하루 만에 한 달 치 크레딧을 다 썼다고. 진짜 어이가 없었지!

텍스트를 처리하는 데 굳이 '최고의 모델'까지는 필요 없어.

이걸 다 하나의 참조 파일로 밀어 넣는 게 정말 최선일지 고민해 볼 필요가 있어...?

차라리 더 작은 단위로 쪼개서, 각 조각이 무엇인지 나타내는 YAML 메타데이터를 붙이는 게 더 낫지 않을까? 특히 최종 목표가 이걸 참조나 RAG로 사용하는 거라면 말이야.

애초에 그중 얼마나 보관할 가치가 있을까? 아마 채팅 기록 대부분은 버리고 핵심 ADR(아키텍처 결정 기록)과 가장 관련성 높은 문맥 정보로 통합할 수 있을 거야.

Codex는 VS Code 자체의 MCP를 사용해서 로컬 머신에서 코드베이스(여기선 마크다운 파일도 포함해서)에 매우 효율적으로 접근할 거야. 난 지난 4일 동안 복잡한 프로젝트에 desloppify를 돌리고 있는데 주간 할당량의 25%도 겨우 썼어. 보통 Codex한테 내 모든 마크다운을 훑게 해서 프런트매터가 일관적인지 확인하고, 그 데이터를 기반으로 롤업과 인덱스를 생성해. 이렇게 하면 Codex가 원하는 정보를 빠르고 저렴하게 찾을 수 있어. Codex는 인덱싱 스크립트도 잘 짜주니까 다음에 전체 인덱스를 다시 만들고 싶을 때 그냥 전에 짠 스크립트를 실행하면 돼. 훨씬 저렴한 모델로도 할 수 있는 작업이라 토큰/비용 면에서 아주 최적이지.

Codex로는 안 될 거야. 나도 3년 전, 2년 전, 그리고 1년 전에 똑같은 문제를 겪어서 결국 백그라운드에서 Codex나 API를 사용하는 나만의 에이전트를 개발했거든.

Codex는 grep을 사용하는데, 최대 툴 호출은 1만 토큰이야. 설정에 들어가서 컨텍스트를 80만, 최대 툴 호출을 10만 토큰으로 바꿀 수는 있지만, 이 두 가지는 사용량을 엄청나게 잡아먹고 문제를 일으킬 거야.

가장 좋은 방법은 Document AI야. 내 경우에는 정규 표현식, 인덱싱, 사실 추출, 요약, 문서 컨텍스트 관리, 그리고 재구축을 조합해서 사용했어.

그러니까 홍보하려는 건 아니고, 제품 이름을 말하는 것도 아니지만, 커스텀 에이전트를 만들거나 대규모 문서를 위한 AI를 인터넷에서 찾아봐. 모든 기업이 각자의 구현 방식을 가지고 있으니까.