Opencode v2 mobile-use Plugin lets opencode use your phone
Opencode v2의 새로운 플러그인 API를 활용해 AI가 휴대폰 화면을 인식하고 제어할 수 있게 만든 프로젝트입니다.
Opencode v2에 진짜 굵직한 변화랑 업그레이드 잔뜩 들어갔다.
그중 하나가 새로 나온 Plugins API인데, 내가 이걸로 만든 거 하나 보여줌 - opencode mobile-use.
새로운 플러그인 기능에 대한 긍정적인 반응과 함께 기술적 구현 방식에 대한 질문, 그리고 iOS 지원 요청이 주를 이룹니다.
DeepSeek 같은 텍스트 전용 모델이 지금 무슨 상황인지 어떻게 파악하게 만든 거야?
이미지를 인식할 수 있는 더 작은 LLM을 써서 DeepSeek한테 뭘 보고 있는지 알려주거나, 다른 이미지 식별 모델을 쓸 수도 있겠지
이 플러그인은 휴대폰 상황을 파악하기 위해 두 가지 방식을 써. 휴대폰 접근성 트리를 가져오는 '폰 UI 덤프'랑 '스크린샷 + 비전 모델' 방식이지. 비전 모델은 계층 구조를 가지고 있어서, 플러그인은 사용자가 선택한 모델에 기능이 있으면 그걸 쓰고, 없으면 사용자가 설정한 비전 서브 에이전트를 확인해서 써. (데모에서는 DS V4 Flash를 선택했고 Luna가 설정된 비전 서브 에이전트를 썼어) 마지막 폴백으로는 플러그인에 포함된 무료 비전 서브 에이전트인 mim…을 사용해.
깃허브 확인해 봐.
오케이 고마워, 멋진 프로젝트네
개쩌네
고마워!!
대박이다
꼭 써봐야겠네
iOS 지원도 추가해 줘
고마워!! iOS 지원은 꼭 추가하도록 노력할게, 추가되면 알려줄게.
ㅋㅋ 아 데모 끝에 빈 화면 나오는 거 몰랐네 :p 내 실수다 얘들아.
iOS는 안 돼?
미안... 아직은 안 돼.
새로운 플러그인 API야?
opencode v2는 어떻게 다운로드함?
일론 머스크가 공유한 AI 모델 순위표에서 Gemini가 하위권으로 평가받자 커뮤니티에서 논쟁이 벌어짐.
일론 머스크가 공유한 AI 모델 순위표에서 Gemini가 하위권으로 평가받자 커뮤니티에서 논쟁이 벌어짐.
