텐센트(Tencent)의 UI-Mate-27B 모델 공개

개요

UI-Mate-27B는 여러 애플리케이션과 운영체제를 넘나들며 장기적인 작업을 수행하는 오픈 웨이트 기반 GUI 에이전트야. 실시간 스크린샷을 보고, 현재 화면 상태를 파악한 뒤, 데스크톱에서 바로 쓸 수 있는 키보드 및 마우스 동작을 구조화해서 출력해.

UI-Mate는 상호 보완적인 두 가지 모드를 지원해:

• 일반 컴퓨터 사용: 자연어 지시사항과 실시간 스크린샷을 바탕으로 작업을 수행함.
• 시연 기반 컴퓨터 사용: 성공적인 시연에서 추출한 재사용 가능한 워크플로우를 새로운 작업에 맞춰 적용함.

시연은 고정된 액션 스크립트가 아니라 가이드 역할을 해. 콘텐츠, 레이아웃, 애플리케이션 상태가 달라지면 모델이 실시간 인터페이스를 보면서 다시 계획을 세우거든.

모델 상세 정보

• 파라미터: 27B
• 기반 모델: Qwen3.6-27B
• 입력: 작업 지시사항, 스크린샷, 상호작용 기록, 선택적 시연 컨텍스트
• 출력: 추론, 간결한 동작 설명, 구조화된 컴퓨터 사용 툴 호출
• 동작 범위: 마우스, 키보드, 스크롤, 대기, 사용자 상호작용, 작업 완료
• 학습: 실행 가능한 GUI 환경에서 지도 미세 조정(SFT) 후 온라인 강화학습 진행
• 라이선스: Apache-2.0

주요 특징

• Ubuntu 및 Windows 벤치마크 전반에서 강력한 일반 컴퓨터 사용 성능 발휘.

• 여러 애플리케이션에 걸친 장기 작업 수행 가능.

• 시연을 통한 원샷 절차 학습.

• 좌표 재현이 아닌 실시간 화면 기반 그라운딩(Grounding).

• pyautogui와 호환되는 구조화된 동작.

• OpenAI 호환 서빙 및 클라이언트 인터페이스.

• arXiv : https://arxiv.org/abs/2608.15930

• PDF : https://arxiv.org/pdf/2608.15930

• GitHub : https://github.com/Tencent/UI-Mate