나만의 에이전트를 만들고 싶은데, 가능한가요?

네, API 토큰 비용을 내지 않고 나만의 AI 에이전트를 만드는 건 확실히 가능합니다. 하지만 에이전트를 만드는 것과 AI 모델을 처음부터 학습시키는 것 사이에는 중요한 차이가 있어요.

API 비용을 피하는 게 목표라면, Llama나 Qwen 같은 오픈 소스 모델을 Ollama를 통해 로컬에서 실행하는 것부터 시작해보세요. 그 후 LangGraph 같은 프레임워크를 사용해 에이전트의 워크플로우, 메모리, 도구 호출 기능을 구축할 수 있습니다.

시작하는 데 엄청난 컴퓨팅 파워는 필요 없습니다. 16GB RAM이 있는 괜찮은 컴퓨터라면 작은 양자화 모델들을 돌릴 수 있지만, 전용 GPU가 있으면 성능이 더 좋아질 겁니다.

이런 학습 경로를 추천해요:

1. 파이썬 기초부터 시작하기.
2. Ollama를 사용해 작은 오픈 소스 LLM을 로컬에서 실행하기.
3. 도구를 사용하고 간단한 작업을 수행할 수 있는 기본 에이전트 만들기.
4. 다단계 워크플로우를 위해 LangGraph 탐색하기.
5. 특정 사용 사례가 생겼을 때만 파인튜닝 실험하기.

기반 모델을 처음부터 학습시키는 건 완전히 다른 차원의 도전이고 비용이 엄청나게 들 수 있습니다. 초보자에게는 기존 오픈 소스 모델을 중심으로 에이전트를 구축하는 게 훨씬 실용적인 시작점이에요.

그리고 로컬에서 모델을 돌리면 API 토큰 비용은 안 들지만, 하드웨어, 전기료, 유지보수 비용은 여전히 든다는 점을 기억하세요.

20GB VRAM GPU와 32GB 시스템에서 돌아가는 모델 추천 하나 하자면, Qwen 35B 3.6 A3B를 살펴보세요. 제가 실제로 성공을 거둔 유일한 모델입니다. 컴퓨터를 실제로 사용할 수 있을 만큼 똑똑하고, GPU에 다 안 들어가는 부분은 CPU 오프로딩을 쓰면 여전히 30 t/s 이상 나옵니다.

Ollama 같은 걸 사용해서 오픈 웨이트 모델을 로컬에서 돌릴 수 있어요. 나만의 에이전트를 만드는 데 API 토큰 비용을 낼 필요는 없습니다.

에이전트 루프, 도구 호출, 메모리, 컨텍스트 관리, 실행 같은 기본 개념을 이해하는 것부터 시작해보세요. 직접 모델을 학습시키지 않고도 로컬에서 돌아가는 모델을 중심으로 간단한 에이전트를 만들 수 있습니다.

기반 모델을 처음부터 학습시키는 건 완전히 다른(그리고 비싼) 작업이라, 훨씬 나중으로 미뤄두는 게 좋을 거예요.

저는 개발자들이 이런 요소들이 어떻게 맞물리는지 이해하도록 돕기 위해 Harnesswalk라는 오픈 소스 프로젝트를 만들었어요. 에이전트의 아키텍처와 실행 과정을 단계별로 탐색할 수 있는 대화형 놀이터입니다.

시작점으로 유용할 거예요: https://harnesswalk.vynci.dev

에이전트는 보통 시스템 프롬프트, 기술, 도구의 조합입니다. 질문자님이 말하는 건 아마 본인의 요청이 실제로 전달되는 '나만의 LLM'을 말하는 것 같네요.

다운로드해서 실행할 수 있는 모델은 많지만, 어떤 걸 돌릴 수 있는지는 기기 사양에 달려 있습니다. GPT한테 본인 사양을 알려주고 어떤 모델을 추천하는지 물어보세요.

작성자님, 이게 중요한 포인트예요. 에이전트는 LLM을 호출해서 완료해야 할 작업 스크립트를 반복적으로 실행하는 프로그램일 뿐입니다.
토큰 비용을 피하려면 본인 컴퓨터에 LLM을 설치해야 합니다. LLM을 돌릴 만큼 충분히 강력해야 하죠. Qwen, Deepseek, Llama, Gemma 또는 Phi 같은 오픈 웨이트 모델들을 살펴보세요.