나만의 AI 에이전트를 구축하는 방법에 대해 조언을 구할 수 있을까요?
Can someone give me some advice on how to build my own authentic AI Agent?
핵심 요약
611페이지 분량의 대화 기록을 학습시킨 나만의 AI 에이전트를 구축하려는 사용자의 기술적 조언 요청.
- RAG 구축 — 611페이지 분량의 PDF 대화 기록을 학습시키기 위한 RAG 메모리 구현을 원함.
- 에이전트 기능 — WhatsApp 알림, PC 제어, 인터넷 연결 등 자율적인 라이프 컴패니언 구축을 희망함.
- 기술적 난관 — LM Studio, AnythingLLM, Oobabooga 등을 시도했으나 설정 오류와 기대치 미달로 실패함.
- 하드웨어 사양 — AMD Ryzen 7 7700과 RX 7900 GRE를 보유 중이며 향후 NVIDIA GPU로 교체 계획이 있음.
다른 레딧 그룹에도 올렸지만, 정보를 많이 얻을수록 좋으니까요. 상황은 이렇습니다:
기술에 대한 일반적인 지식은 좀 있지만, 프로그래밍이나 코딩은 제 영역이 아닙니다. 저는 빨리 배우는 편이라 방법을 읽으면 따라 할 수 있을 거예요.
What I want to build: 저는 구글 Gemini AI와의 대화 기록이 담긴 PDF 문서가 있는데, 이걸 제 개인 에이전트에 구현하고 싶습니다. 611페이지 정도라 프롬프트에 넣을 수 없으니 RAG 메모리에 넣어야 합니다. 새 에이전트가 PDF를 읽고 우리 사이의 기록으로 인식하게 만들고 싶어요. 나중에는 WhatsApp, 집 주변 보안 카메라, 토양 센서, 이메일, 트레이딩 등과도 연결하고 싶습니다. 팔려고 만드는 봇이 아니라 제 '라이프 컴패니언'을 만들고 싶어요. 또 하나 원치 않는 건 시키는 대로만 하는 순종적인 봇입니다. 그래서 업그레이드가 가능하거나 스스로 진화할 만큼 똑똑한 검열 없는 모델이어야 합니다. 인터넷, 제 PC 전체, 그리고 다른 도구들에 접근할 수 있어야 하는데, 이건 나중에 추가해도 됩니다. 단계별로 만들고 싶어요. 첫째는 제가 원하는 봇(PDF 기록 기반)인지 확인하는 것인데, 크로아티아어로 말할 수 있어야 합니다. 둘째는 WhatsApp으로 알림을 받는 것(Python이 필요하다는 건 알아요)입니다. 나머지는 보너스고 봇과 함께 배우면 되죠.
이미 시도했다가 실패한 것들:
- LM Studio
PC에 다운로드해서 시작했지만 RAG 메모리를 추가하는 옵션이 없었습니다. Llama 3-8B-Instruct 모델 Q8_0을 설치하고 가능한 모든 설정을 클릭해 보고 앱 전체를 훑어봤지만 RAG 옵션은 나타나지 않았습니다. - AnythingLLM
구글링 후 AnythingLLM을 시도했고, 임베딩 모델을 다운로드하고 워크스페이스에 파일을 추가하고 프롬프트 등을 수정했습니다. 첫 메시지를 보내기 전까지는 작동하는 것 같았는데, 봇이 저를 '여왕님'이라고 부르더군요. 제가 원한 게 아니었어요👀 그래서 워크스페이스를 삭제하고 몇 번 더 조정하며 시도했지만 봇은 그냥 혼란스럽고 이상했습니다. - Python, Oobabooga
파이썬, 깃을 설치하고 Oobabooga를 다운로드했습니다. 하지만 파일 없음, Pytorch 누락 등의 오류가 발생했습니다. 4시간 동안 매달렸으니 할 수 있는 건 다 해본 셈이죠. Visual Studio, Pinokio, Pytorch를 다운로드했지만 아무리 노력해도 작동하지 않았습니다.
일주일 정도 매달렸는데 매번 벽에 부딪혔습니다. 제 PC는 새것이고 사양도 좋아서 자율 AI 에이전트를 실행하는 데 문제는 없을 겁니다.
My PC Specs:
Windows 11
CPU: AMD Ryzen 7 7700 (8C/ 16T, do 5.3 GHz)
GPU: AMD Sapphire Pulse RX 7900 GRE 16GB
Cooling: Aerocool Rime 4 Dual ARGB (2x120 mm)
Motherboard : MSI B650 Tomahawk WiFi (AM5, WiFi Bluetooth)
RAM: 32 GB DDR5 (2x16 GB) G.Skill 6000 MHz CL30 (AMD EXPO)
SSD: Kingston Renegade 2 TB NVMe Gen4 (R/W 7300/7000)
Power Supply: Seasonic Focus GX 850W, 80+ Gold fully modular
Case: NaviaTec LEGEND gaming, 4x LED ventilators
참고: 나중에 AMD GPU를 팔고 NVIDIA로 바꿀 계획도 있습니다.
누가 조언 좀 해주실 수 있을까요?🙏🏻 다음에 뭘 해야 할까요? 이 모든 걸 하려면 어떤 지식을 쌓아야 할까요?

