검증이 어려운 질문을 조사하는 에이전트 루프, Aletheia를 오픈소스로 공개합니다.
I open-sourced Aletheia - an agent loop for investigating questions without a clear verifier.
핵심 요약
검증 가능한 결과가 없는 질문을 조사하기 위해 '신념-행동-관찰-업데이트' 루프를 사용하는 에이전트 Aletheia를 개발했습니다.
- 불확실성 루프 — 검증이 어려운 질문에 대해 신념을 업데이트하며 조사함
- 에이전트 구조 — 신념, 행동, 관찰, 업데이트의 4단계 루프를 따름
- 도메인 중립성 — 기업 실사 등 정보가 불완전하거나 상충하는 분야에 활용 가능
- 기술 스택 — Claude Code 및 OpenAI Codex를 기반으로 로컬 환경에서 실행됨
대부분의 에이전트 루프는 결과가 검증 가능할 때 가장 잘 작동합니다. 코드가 컴파일되거나, 테스트를 통과하거나, 작업이 완료되는 경우처럼 말이죠.
저는 그런 방식으로 답을 검증할 수 없을 때 루프가 어떤 모습이어야 하는지 탐구하고 싶었습니다.
예를 들면 이런 질문들입니다:
- 이 공급업체가 주장하는 실적이 신뢰할 만한가?
- 이 회사는 재무적으로 건전한가?
- 과학 기사의 헤드라인이 실제 연구 결과와 일치하는가?
이런 질문들에 대해 모든 검색 결과는 부분적이거나 잠재적으로 오해의 소지가 있는 단서일 뿐입니다.
그래서 저는 **Aletheia - 불확실성 루프 에이전트(The Uncertainty Loop Agent)**를 만들었습니다.
이 에이전트의 루프는 다음과 같습니다:
신념 → 행동 → 관찰 → 업데이트
이 루프는 무엇이 사실일 수 있는지에 대한 명시적인 관점을 유지하고, 그 관점을 바꿀 수 있는 다음 검색을 선택하며, 상충하는 증거가 나타나면 신뢰도를 낮출 수 있게 합니다.
첫 번째 작동 애플리케이션은 증거, 상충하는 신호, 명시된 신뢰도, 해결되지 않은 미지수를 포함한 판결을 반환하는 오픈소스 조사 도구입니다. 또한 증거가 결론을 내릴 만큼 충분하지 않을 때는 억지로 결론을 내리지 않고 조사를 멈출 수도 있습니다.
Aletheia는 현재 기업 및 공급업체 실사 용도로 제공되지만, 이 루프는 도메인 중립적입니다. 즉, 진실이 숨겨져 있고 증거가 불완전하거나, 노이즈가 많거나, 논쟁의 여지가 있는 곳이라면 어디든 적용할 수 있습니다.
Aletheia는 현재 Claude Code와 OpenAI Codex로 실행됩니다. 기술, 추적, 테스트 및 선택적인 튜닝 주기는 로컬에서 유지되며, 웹 조사는 하네스의 검색 기능을 사용합니다.
이것은 루프 엔지니어링의 새로운 측면을 탐구하려는 시도일 뿐, 문제가 해결되었다고 주장하는 것은 아닙니다. 소스 품질과 실제 환경에서의 보정은 여전히 어렵고, 상관관계가 있는 증거는 어떤 시스템이라도 속일 수 있습니다.
