Tencent опублікував відкритих AI-агентів, які керують мишею та клавіатурою через UI-Mate

TL;DR

• •Ліцензія Apache 2.0, код доступний на GitHub.
• •Дві версії моделей: 27B та 9B параметрів, базуються на Qwen.
• •На OSWorld-Verified модель набрала 77,0 баллів.
• •На WindowsAgentArena результат 66,2.
• •Показник строгого успіху зростає з 17,2% до 35,4% після однієї демонстрації.

Як це змінить ваш ринок?

Автономні AI-агенти для GUI автоматизують ручні операції з введення даних, формулярів та звітів, що зменшує потребу в працівниках для повторних завдань у таких галузях, як виробництво, логістика та ритуал. Це може зменшити операційні витрати на 10‑20% у компаніях, які ще не використовують RОБОТИЗАЦІЮ desktop. Тому фінансові та операційні лідери повинні оцінювати інтеграцію таких агентів як альтернативу скриптам на pyautogui або низкокодових платформ.

Покращення продуктивності проявляється особливо в процесах, де потрібна частота копіювання‑вставки між програмами, наприклад, при перенесенні даних з CRM у систему обліку. Через те, що агент працює з знімком екрану, він не залежить від API конкретного додатку, що робить його універсальним інструментом для легасі‑систем.

Крім того, відкрита ліцензія дозволяє адаптувати модель під специфічні завдання компанії, що зменшує залежність від вендора та можливості fine‑tune під власні дані.

Визначення: GUI‑агент — це AI‑модель, яка аналізує знімок екрану та генерує команди миші та клавіатури для виконання дій у будь‑якому додатку без доступу до його API.

Для кого це і за яких умов (ОБОВ'ЯЗКОВО: мін. обладнання/бюджет, потрібна команда чи ні, мін. масштаб, час на впровадження.

• •9B версія: працює на ноутбуці з 16 ГБ ОЗУ та GPU 8 ГБ (наприклад, RTX 3060), без IT‑команди, приблизно 1 години на налаштування vLLM та тестовий запуск.
• •27B версія: потребує GPU 24 ГБ або доступ до хмарних інстансів (~$0,5/год), потрібен спеціаліст з ML‑операціями, 1‑2 дні на інтеграцію та тестування.
• •Мінімальний масштаб: від 10 співробітників, коли є повторювані GUI‑задачі (введення замовлень, обробка рахунків).
• •Час на впровадження: від кількох годин до двох днів залежно від версії та складності завдання.

Альтернативи