우리가 오픈 소스 하니스와 로컬 모델이 필요한 이유
This is why we need open-source harnesses + local models
핵심 요약
모델 성능을 좌우하는 제어 로직인 '하니스'의 중요성을 강조하며, 오픈 소스 하니스를 통한 최적화와 제어권 확보의 필요성을 논함.
- 하니스 중요성 — 모델 성능은 이를 둘러싼 제어 로직과 워크플로우에 크게 좌우됨.
- 오픈 소스 이점 — 에이전트 루프, 컨텍스트 관리, 도구 실행 등을 직접 제어하여 최적화 가능.
- 로컬 모델 활용 — 추론 환경과 모델을 직접 통제하여 실험적 최적화가 용이함.
- 기술적 독립성 — 폐쇄형 하니스의 보안 우려와 불투명한 최적화 문제를 해결할 수 있음.
여러 에이전트 설정을 써보면서 이 문제에 대해 더 깊이 생각해 봤는데, 에이전트 성능을 결정하는 건 모델만이 아니더라. 모델을 감싸고 있는 하네스(harness)도 엄청나게 중요함.
관리형 에이전트 설정을 쓰면 에이전트 루프, 컨텍스트 관리, 도구 실행, 재시도, 상태 유지 같은 것들에 대한 제어권을 포기해야 하는 경우가 많거든.
그냥 적당히 돌아가는 게 목적이라면 상관없지. 근데 에이전트를 제대로 최적화하고 싶다면, 둘 다 오픈되어 있어야 한다고 봄.
오픈소스 모델 + 오픈소스 하네스 조합 말이야.
로컬 모델을 쓰면 모델이랑 추론이 어디서 돌아가는지 직접 제어할 수 있잖아.
오픈소스 하네스를 쓰면 모델 주변에서 일어나는 일들을 직접 제어할 수 있고.
그렇게 되면 이런 것들을 실험해 볼 여지가 생기지:
에이전트가 다음에 뭘 할지 결정하는 방식
모델에 전달되는 컨텍스트의 양
도구가 실행되는 방식
재시도나 중단 시점
상태가 유지되는 방식
작업별로 어떤 모델을 쓸지
이미 이런 분리가 중요해지고 있다는 게 느껴짐. NVIDIA의 sol-pi가 흥미로운 사례지.
앞으로는 모델 레이어뿐만 아니라 하네스/런타임 레이어에서 훨씬 더 많은 최적화가 일어날 거라고 본다.
너희는 오픈소스 하네스로 로컬 모델 돌리고 있냐, 아니면 여전히 관리형 에이전트 설정이 더 편하냐?
수정 - 내가 로컬에서 돌리고 있는 오픈소스 하네스는 이거임, https://github.com/truefoundry/trueforge
claudecode 쓰다가 pi로 갈아타고 결국 이걸로 정착했는데, 런타임 효율도 좋고 모델 바꾸기도 존나 쉬워서 내 사용 사례에는 이게 제일 잘 맞음.
