r/PiCodingAgent•15일 전•2•18
Astra나 Sol 같은 모델에 쓸 컨텍스트/프롬프트를 짤 때 멍청한 플래시 모델 쓰는 게 훨씬 낫다는 걸 알았는데, 증명할 방법이 없네
I found using a dumber flash model to build context/prompts for Astra/Sol,etc 100% works better, but I can't prove it
핵심 요약
더 똑똑한 모델을 쓰기 전에 가벼운 모델로 컨텍스트를 미리 정리해 토큰 비용을 절감하는 효율적인 워크플로우에 대한 논의.
- 토큰 비용 절감 — 가벼운 모델로 컨텍스트를 미리 정리해 비용을 줄임
- 모델 효율성 — 똑똑한 모델을 쓰기 전 단계에서 플래시 모델을 활용함
- 컨텍스트 관리 — 멀티 에이전트 시스템에서 프롬프트 설계의 어려움을 공유함
- 도구 추천 — mercury-2.5 등 효율적인 모델 활용법이 언급됨
즉, 거대한 코드 베이스에서 프롬프트 하나로 시작한 다음, 멍청한 모델한테 선택적 컨텍스트를 구축하게 만드는 방식이지. 여기서 '더 낫다'는 건 토큰 비용이 훨씬 적게 든다는 뜻이야. 똑똑한 모델이 컨텍스트를 구축하게 둔다 해도(멍청한 모델을 안 썼을 경우), 어차피 나중에 컨텍스트를 어떻게든 압축하거나 다듬어야 하는 건 매한가지거든.
다들 이렇게 하고 있을 거라 생각하는데, 내 질문은 이거야:
이 작업을 할 때 너희들이 찾은 꿀팁이나 더 효율적인 방법이 있어?
참고: 내 주장이 틀렸을 수도 있음.
