파인튜닝 없이 에이전트에게 회사 내부 지식을 학습시키는 방법이 있을까?

물류 회사(차량 100대 정도 굴리는 실전용)에서 쓸 멀티 에이전트 운영 시스템을 만들고 있다. Mac mini에서 Qwen 2.5 14B 로컬 모델 돌리고 있고, 우리 실무 데이터베이스랑 연동해 놨음.

에이전트 놈들이 실시간 정보는 기가 막히게 잘 찾는다. 택배가 어디 있는지, 가맹점이 돈을 얼마나 냈는지 같은 거. DB 쿼리 날려서 가져오는 거라 숫자는 절대 안 틀림. 근데 문제는 이 새끼들이 우리 회사가 어떻게 돌아가는지는 쥐뿔도 모른다는 거다. 업무 절차, 어떤 가맹점은 메시지 말고 전화를 해야 하는지, 결제 규정 같은 거 말이야. 이런 건 DB 테이블에 한 줄로 박혀 있는 게 아니라 전부 사람들 머릿속에 들어 있거든.

그래서 계속 고민 중인 게, 회사 내부의 '조직 지식'을 어떻게 에이전트한테 주입하느냐는 거다.

방법은 크게 세 가지임:

1. 파인튜닝. 이건 나한테는 아웃이다. 하드웨어도 딸리고 깔끔한 데이터셋도 없음. 무엇보다 파인튜닝 모델은 지가 어디서 정보를 가져왔는지 출처를 못 대는데, 이건 내 철칙인 '출처 확인 안 되는 건 절대 말하지 마라'를 정면으로 위반하는 거라 안 됨.
2. DB 직접 연결. 실시간 데이터 조회엔 최고지. 근데 업무 규칙이나 절차 같은 건 해결이 안 되고, DB에 직접 권한 주는 건 위험하기도 하고.
3. 에이전트가 참조할 수 있는 리트리벌(검색) 레이어 구축. 지식을 일반 DB에 박아두고, 에이전트가 택배 위치 찾듯이 지식도 검색하게 만드는 거다. 규칙 바뀌면 DB 행 하나만 수정하면 끝. 모든 정보는 출처가 남고, 모델도 언제든 갈아끼울 수 있음.

나는 3번으로 가기로 했다. 실시간 데이터는 2번이랑 병행하고. DB에는 오늘자 수치를, 지식 레이어에는 회사 돌아가는 방식을 담는 거지.

이게 핵심 아이디어라고 생각하는데, 에이전트가 모르는 게 나오면 그냥 추측해서 헛소리하거나(절대 안 됨) 로그만 남기고 끝내는 게 아니라, 담당 직원한테 질문을 던지는 거다(역할별로 자동 라우팅, 연락처는 안 보여줌). 직원이 답변하면 초안으로 저장되고, 사람이 승인하면 그게 영구적인 지식이 되는 방식이지. 다음에 똑같은 질문 나오면 바로 답변 나가는 거다. 에이전트가 돌아가면서 회사랑 계속 인터뷰를 하는 셈이지.

거의 실수할 뻔한 게 하나 있는데, 처음엔 직원 답변을 자동으로 지식에 추가하려고 했거든. 근데 바로 정신 차렸다. 직원 하나가 대충 대답한 게 에이전트한테는 '절대 진리'가 돼서 평생 헛소리하게 만들 수도 있으니까. 그래서 무조건 사람 승인을 거치게 바꿨다.

진지하게 토론해보고 싶은 건 이거다:

• 소규모 환경에서 리트리벌 방식이 진짜 최선이냐? 아니면 내가 그냥 내 상황에서 할 수 있는 걸 합리화하는 거냐?
• '하드 실패 모드' 문제: 모델이 자신감 넘치게 틀린 답을 내놓을 때, 맥락이 부족하다는 걸 어떻게 감지하냐? 검색 결과가 아예 없는 건 쉽지. 근데 자신감 넘치게 틀리는 건 답이 없더라. 이거 '늑대 소년' 현상 없이 해결해 본 사람 있냐?
• 모든 지식을 사람이 일일이 승인하는 게 안전하긴 한데, 이게 병목 현상이 돼서 시스템 다 죽일 수도 있거든. 어느 정도 수준의 저위험 지식은 자동 승인해도 된다고 보냐?

실제 운영 환경에서 에이전트용 지식 레이어 만들어 본 사람 있냐? 어디서 터졌는지 좀 알려줘라. 궁금하다.