이제 우린 끝났다. 내 QFN 3.8 NVFP4가 MS 페인트로 강아지를 그렸어 (Open WebUI 0.13.0 및 Open Terminal 0.17.2 사용)
We are cooked. My QFN 3.8 NVFP4 just drew a dog freehand in MS Paint (using new Open WebUI 0.13.0 and Open Terminal 0.17.2)
핵심 요약
Open WebUI의 새로운 기능을 통해 LLM이 가상 데스크톱에서 직접 마우스를 제어하며 그림을 그리는 모습이 화제입니다.
- Open WebUI 업데이트 — 가상 데스크톱 환경에서 LLM이 마우스와 키보드를 직접 제어함
- 직접 그리는 LLM — 파이썬 코드 없이 마우스 좌표를 이용해 MS 페인트로 그림을 그림
- 상호작용 기능 — 브라우저 내에서 가상 데스크톱을 실시간으로 확인하고 개입 가능
- 모델의 자아 — 그림을 그린 후 스스로 이름을 서명하거나 캐릭터를 설정하는 등 흥미로운 반응을 보임
자전거 타는 펠리컨 SVG 같은 멍청한 짓은 이제 집어치워. 파이썬 코드로 그림 그려서 사기 치는 것도 다 때려치우라고. 방금 새로운 Open WebUI 0.13.0에서 QFN 3.8을 돌려봤는데, 이놈이 "내 맥주나 들어봐" 하더니 VM 안에서 마우스 좌표를 직접 찍어가며 그림을 그리기 시작하더라. 이거 당장 출력해서 자랑스러운 부모 마음으로 벽에 걸어둘 생각이야.
진지하게 말하자면, 이 모든 게 Open Terminal 리포지토리 0.17.2 버전에서 돌아가는 가상 데스크톱 VM을 제어할 수 있게 해주는 새로운 Open WebUI 0.13.0 기능 덕분임.
이 팀 프로젝트를 몇 년째 지켜보고 있는데, 진짜 2주마다 미친 듯이 새로운 기능들을 쏟아내고 있음.
0.13.0부터는 OWUI 모델로 프로그래밍 방식은 물론이고 Computer Use를 통해 리눅스 데스크톱 전체를 제어할 수 있게 됐어.
그래, 내 VM 스크린샷이 리눅스가 아니라 MS 윈도우 11인 거 알아. 그건 내 Hermes 에이전트한테 리눅스 ISO 대신 기본 비인증 윈도우 11 VM ISO를 사용하는 Open Terminal 버전을 만들라고 시켰기 때문이지. 만드는 데 20분 정도 걸렸는데, 이제 내가 원하는 모델로 OWUI를 돌릴 수 있는, 완전히 관찰 가능한 샌드박스형 리눅스나 윈도우 데스크톱을 갖게 된 셈이야. 게다가 브라우저 안에서 완벽하게 상호작용이 가능해서 필요할 땐 내가 직접 개입해서 조종할 수도 있음.
혹시 최근에 OWUI 안 써봤으면 꼭 써봐. Tim이랑 그 팀원들이 최근에 대규모 업데이트랑 코드 전체를 갈아엎는 작업을 했는데, 이 기능은 사람들이 잘 모르는 것 같아서 좀 아쉬움. 이전의 헤드리스 버전 Open Terminal도 엄청 유용했지만, 이번 건 차원이 다름.
Open WebUI 팀 진짜 고생 많았다!
추신: QFN 3.8이 일 잘했다고 스스로 칭찬하는 거 좀 귀엽지 않냐 ☺️
