microsoft/Fara1.5-27B · 허깅페이스
microsoft/Fara1.5-27B · Hugging Face
핵심 요약
마이크로소프트가 웹 브라우저 자동화 작업을 수행하는 멀티모달 에이전트 'Fara1.5-27B'를 공개함.
- Fara1.5-27B 공개 — 웹 브라우저 작업을 자동화하는 멀티모달 컴퓨터 사용 에이전트임.
- Qwen3.5 기반 — Qwen3.5-27B 모델을 기반으로 파인튜닝된 모델임.
- 시각 기반 인식 — DOM 대신 스크린샷을 통해 웹 페이지를 인식하고 동작함.
- 사용 제한 사항 — 영어 전용이며 고위험 도메인이나 민감한 작업에는 사용이 권장되지 않음.
huggingface.co
원문 사이트로 이동
Fara1.5-27B는 Microsoft Research AI Frontiers에서 만든 웹 브라우저용 멀티모달 **컴퓨터 사용 에이전트(CUA)**야. 스크린샷으로 브라우저 화면을 보고, 클릭, 타이핑, 스크롤, URL 이동, 웹 검색 같은 구조화된 도구 호출을 직접 실행해서 작업을 끝까지 처리해 줌.
이 모델은 인식할 때 오직 시각 정보만 써. DOM이나 접근성 트리 같은 거 안 보고 오직 스크린샷으로만 브라우저를 파악함. 내부 추론이랑 작업 기록은 텍스트로 추적하고, 최신 스크린샷이랑 이전 행동들을 바탕으로 클릭할 픽셀 좌표 같은 구체적인 인자를 포함해서 다음 행동을 예측하는 방식이야.
Fara1.5-27B는 Qwen3.5-27B를 기반으로 파인튜닝했어. 학습 데이터는 웹 작업을 합성하고, 그걸 해결하는 과정을 실행한 뒤 결과까지 검증하는 멀티 에이전트 파이프라인인 FaraGen1.5로 뽑아낸 것들이야.
MagenticLite랑 같이 설계됐으니까 연구용이든 실전용이든 배포할 땐 이걸 쓰는 걸 추천함.
주요 사용 사례
반복적인 웹 작업 자동화: 양식 작성, 쇼핑, 여행 예약, 식당 예약, 정보 검색, 계정 관련 업무 등. Fara1.5-27B는 픽셀 단위로 정확한 행동 예측이 필요한 다른 에이전트들의 기반 모델로도 쓸 수 있어.
사용 범위 제외 (Out of scope)
- 영어 이외의 언어 (학습 데이터가 영어뿐임)
- 잘못된 행동이 큰 피해를 줄 수 있는 고위험 분야 (법률, 의료, 금융 자문)
- 법적 지위, 주거, 고용, 신용에 영향을 주는 결정
- 민감한 계정이나 파일에 접근할 수 있는 샌드박스 미적용 환경
- 추가적인 테스트나 안전장치 없이 상업적 또는 실제 운영 환경에서 사용하는 경우
알려진 한계점
- 시각 정보만 인식함: 페이지 렌더링이 이상하거나 저화질일 때, 페이지 콘텐츠에 프롬프트 인젝션이 심어져 있을 때, UI 요소가 모호할 때 모델이 낚일 수 있음.
- 다단계 작업 시 오차 누적: 초반에 클릭 한 번 잘못하면 뒤로 갈수록 꼬임.
- 실행할 때마다 결과가 다름: 여러 번 거쳐야 하는 작업은 매번 결과가 좀 달라서, 벤치마크 수치는 여러 번 돌린 평균값임.
- 모델이 페이지 상태를 환각으로 지어내거나 이전 스크린샷 정보를 잘못 해석할 수 있음.
추가 모델: (모델 카드에는 9B 언급이 있는데 허깅페이스에 안 보여서, 아래에 추가함)
