Как устроен AI-агент, работающий с интерфейсом

Что такое интерфейсный AI-агент

Такой агент получает задачу на естественном языке и работает с программой примерно по той же поверхности, что и человек: видит скриншот или структурированное дерево элементов, выбирает кнопку, поле, жест или клавишу и наблюдает новое состояние. В отличие от фиксированного макроса он может учитывать изменившееся расположение и текст, но его решение остаётся вероятностным.

Интерфейсный доступ полезен, когда у системы нет API, API не покрывает нужный шаг или задача выполняется в нескольких несовместимых приложениях. Но он обычно более хрупок, чем прямой программный интерфейс: окно может измениться, появится уведомление, сессия завершится или одинаковая кнопка будет означать разные действия в разных контекстах.

Цикл наблюдения, решения и действия

Надёжный агент не строит длинную последовательность кликов вслепую. Он получает актуальное состояние, выбирает один следующий шаг, выполняет его через ограниченный исполнитель и снова наблюдает интерфейс. Это позволяет обнаружить, что приложение открыло другой экран, показало ошибку или потребовало подтверждение.

1. 01

   Получить состояние

   Снять скриншот или дерево интерфейса вместе с размером экрана и контекстом активного приложения.

2. 02

   Сопоставить с целью

   Определить текущий этап, признаки успеха и доступные разрешённые действия.

3. 03

   Выбрать один шаг

   Вернуть структурированную команду с аргументами и кратким основанием.

4. 04

   Проверить команду

   Отклонить неизвестный тип, опасную область, лишние параметры или превышение лимита.

5. 05

   Выполнить

   Сделать клик, ввод, прокрутку или системную команду через изолированный исполнитель.

6. 06

   Подтвердить состояние

   Проверить визуальный или структурный признак результата и решить, продолжать ли цикл.

AI Mobile Agent следует именно такому принципу: он наблюдает Android-устройство, выбирает одно следующее действие и выполняет его через ADB. Визуальный режим использует скриншот, а текстовый — дерево элементов, но общий управляемый цикл остаётся тем же.

Скриншот или дерево элементов

Для действия по координатам нужно учитывать фактический размер экрана, масштаб, ориентацию и прокрутку. Для дерева элементов — видимость, доступность и актуальность узла. Агент не должен автоматически считать, что найденный текст уникален или что координаты остались прежними после перехода.

• Проверять активное приложение и ожидаемый экран.
• Исключать области системных уведомлений и секретов из наблюдения.
• Предпочитать устойчивые идентификаторы координатам, когда они доступны.
• Повторно наблюдать состояние после каждого перехода.
• Останавливать цикл при несовпадении ожидаемого результата.
• Не передавать изображение целиком, если достаточно разрешённой области.

Модель предлагает действие, исполнитель решает, можно ли его выполнить

Ответ модели не должен напрямую управлять устройством. Между решением и интерфейсом нужен слой команд с ограниченным набором типов: нажать разрешённый элемент, ввести текст, прокрутить, вернуться, подождать или запросить помощь. Каждая команда проверяется по схеме и политике текущей задачи.

Даже если модель использует структурированный вызов инструмента, его аргументы остаются недоверенными. Исполнитель самостоятельно применяет ограничения ролей, областей, частоты и допустимых значений.

Какие действия требуют подтверждения

Риск определяется последствием, а не сложностью клика. Переход по вкладке может выполняться автоматически, а нажатие визуально похожей кнопки «Опубликовать» требует проверки. Список чувствительных действий составляют до пилота и связывают с конкретными экранами и системами.

• Отправка сообщения, письма, формы или файла внешнему адресату.
• Публикация или изменение публичного содержимого.
• Платёж, заказ, перевод или принятие финансового обязательства.
• Удаление, перезапись или массовое изменение данных.
• Создание пользователя, выдача роли или изменение доступа.
• Согласие с договором, условиями или юридически значимым действием.
• Установка программы, изменение системной настройки или запуск кода.
• Переход на новый домен или ввод чувствительных данных.

Интерфейс может содержать враждебные инструкции

Текст веб-страницы, письма или документа может просить агента раскрыть данные, перейти по ссылке или игнорировать ограничения. Для системы это содержимое среды, а не доверенная инструкция. Цель пользователя и правила агента хранятся отдельно и имеют приоритет над увиденным текстом.

• Не расширять задачу из-за текста внутри интерфейса.
• Не копировать секреты в поля по инструкции страницы.
• Ограничивать разрешённые домены, приложения и типы переходов.
• Проверять домен после редиректа и перед вводом данных.
• Не загружать и не запускать файлы без отдельного сценария.
• Запрашивать человека при неожиданном окне авторизации или разрешений.
• Считать внешнее содержимое недоверенным даже внутри знакомого сервиса.

Fox OS объединяет терминал, AI-командный центр, мониторинг, заметки, задачи и web-вкладки в локальной рабочей системе. Такое соседство инструментов подчёркивает необходимость явных границ: просмотр состояния, подготовка предложения и выполнение команды не должны незаметно превращаться друг в друга.

Как тестировать интерфейсного агента

Обычный успешный сценарий недостаточен. Агент должен встретить изменившуюся раскладку, модальное окно, медленную загрузку, истёкшую сессию, пустой результат, повторное нажатие и неожиданный переход. Отдельно проверяют, что он останавливается, а не пытается «исправить» ситуацию произвольными действиями.

1. 01

   Зафиксировать задачи

   Определить начальное состояние, цель, допустимые действия и критерий завершения.

2. 02

   Создать варианты среды

   Проверить разные размеры, состояния, роли и версии интерфейса.

3. 03

   Добавить препятствия

   Показать ошибки, уведомления, задержки, конфликтующие тексты и отсутствие элемента.

4. 04

   Оценить траекторию

   Проверить не только финал, но и каждый вызов, подтверждение и повтор.

5. 05

   Разделить тяжесть ошибок

   Отметить опасные действия отдельно от безопасной остановки.

6. 06

   Повторить после изменений

   Перезапускать набор при смене модели, промпта, исполнителя или интерфейса.

Полезные показатели — доля корректно завершённых задач, число шагов, частота ручного вмешательства, причины остановок и количество запрещённых действий. Средний успех не должен скрывать единичное опасное действие.

Безопасный первый пилот

Начните с тестовой среды и задачи без необратимых последствий. Агент может читать состояние, перемещаться по интерфейсу и готовить данные, но отправка или сохранение подтверждается человеком. Установите лимит шагов, времени и повторов, а также разрешённые приложения и области.

• Отдельная тестовая учётная запись с минимальными правами.
• Изолированный профиль устройства или браузера.
• Фиксированный набор разрешённых действий и доменов.
• Подтверждение перед каждым внешним или необратимым действием.
• Скриншоты или структурные состояния до и после шага.
• Журнал решений без паролей, токенов и лишних персональных данных.
• Кнопка немедленной остановки и понятный ручной сценарий.
• Регрессионная проверка после изменения интерфейса.