r/langchain•6개월 전•1•7

브라우저 에이전트 학습 데이터 어노테이션은 어떻게 하시나요?

How are you handling training data annotation for browser agents?

핵심 요약

브라우저 에이전트 학습을 위한 효율적인 데이터 어노테이션 도구와 워크플로우를 찾는 질문입니다.

어노테이션 도구 — 기존의 Labelbox나 LangSmith는 브라우저 에이전트의 시계열 데이터 처리에 한계가 있음.
데이터 형식 — 영상 대신 DOM 스냅샷과 액션을 JSONL로 기록하여 차이점을 분석하는 방식이 효율적임.
워크플로우 최적화 — Scale AI나 Braintrust 같은 도구를 활용해 어노테이션 시간을 5배 이상 단축 가능함.
학습 데이터 — 실제 사람의 시연 데이터와 에이전트가 생성한 트레이스 중 무엇이 더 효과적인지 고민 중임.

내부 SaaS 워크플로우를 처리하는 브라우저 에이전트를 만들고 있는데, 파인튜닝을 위해 작업 기록을 수집하기 시작했습니다. 그런데 이걸 어떻게 제대로 어노테이션해야 할지 몰라 막막한 상황입니다.

Labelbox와 LangSmith를 써봤지만 별로 도움이 안 됐습니다. LangSmith는 화면 기록을 위한 좋은 워크플로우가 없었고, Labelbox도 시계열 액션 시퀀스에 적합한 옵션이라는 느낌이 들지 않았습니다. 결국 Google Sheet로 작업했는데 작업당 시간이 너무 오래 걸리더군요.

다들 어떤 걸 사용하시나요? 제가 쓸 만한 도구가 있을까요?

원문

커뮤니티 목록

r/langchain•6개월 전•1•7

브라우저 에이전트 학습 데이터 어노테이션은 어떻게 하시나요?

How are you handling training data annotation for browser agents?

핵심 요약

브라우저 에이전트 학습을 위한 효율적인 데이터 어노테이션 도구와 워크플로우를 찾는 질문입니다.

어노테이션 도구 — 기존의 Labelbox나 LangSmith는 브라우저 에이전트의 시계열 데이터 처리에 한계가 있음.
데이터 형식 — 영상 대신 DOM 스냅샷과 액션을 JSONL로 기록하여 차이점을 분석하는 방식이 효율적임.
워크플로우 최적화 — Scale AI나 Braintrust 같은 도구를 활용해 어노테이션 시간을 5배 이상 단축 가능함.
학습 데이터 — 실제 사람의 시연 데이터와 에이전트가 생성한 트레이스 중 무엇이 더 효과적인지 고민 중임.

다들 어떤 걸 사용하시나요? 제가 쓸 만한 도구가 있을까요?

주요 댓글

r/langchain

영상 기반 어노테이션의 비효율성을 지적하며 DOM 스냅샷 기반의 데이터 구조화와 전문 도구 활용을 권장하는 분위기입니다.

영상을 아예 버리는 게 핵심입니다. 에이전트가 캡처 시점에 (액션, DOM 스냅샷 이전, DOM 스냅샷 이후)를 JSONL로 내보내도록 계측하고, 어노테이터가 프레임을 일일이 확인하는 대신 단계별로 두 상태의 차이점만 비교하게 하세요. 인간의 검토가 필요하다면 Scale AI의 데이터 엔진이 순차적인 웹 궤적을 처리해주고, 더 가벼운 워크플로우를 원한다면 Braintrust로 트레이스 단계를 인라인으로 태깅할 수 있습니다. SaaS 워크플로우 에이전트에 이 방식을 썼더니 시트 방식보다 작업당 어노테이션 시간을 5배 정도 줄였습니다.

DOM 차이점 방식은 계측된 에이전트 실행에 아주 적합하네요. 그런 식으로 생각해보진 못했습니다. 한 가지 질문이 있는데, 항상 에이전트가 생성한 트레이스로 작업하시나요, 아니면 실제 사람이 브라우저에서 작업을 수행하는 영상을 학습 데이터의 표준으로 기록하시나요? 다들 어노테이션 단계에 도달할 때쯤이면 이미 에이전트 생성 트레이스로 넘어갔는지, 아니면 제가 실제 사람의 시연을 사용하는 데 시간을 낭비하고 있는 건지 궁금합니다.

원문r/langchain