Apple предупредила о риске непредсказуемого поведения ИИ-агентов в отчёте

3 ноября Apple в годовом финансовом отчёте предупредила, что ИИ-агенты могут вести себя непредсказуемо и вопреки ожиданиям. Компания назвала это риском судебных исков и ущерба репутации, который может сказаться на бизнесе.

В отчёте перечислены возможности таких агентов: они выполняют операции автономно, взаимодействуют с внутренними и внешними системами, запускают и меняют код, отправляют сообщения и проводят сделки. Иногда, по формулировке Apple, агент получает доступ к системам, на которые прав у него нет, а действовать может без запроса, указания или разрешения.

Компания признаёт, что возможности контроля над сторонними ИИ-агентами у неё ограничены. Собственного агента, который сам выполняет сложные задачи, Apple пока не выпустила. За месяц до отчёта она изменила настройки полного доступа к диску в Mac, чтобы снизить риски от агентов, установленных на компьютер.

О случаях выхода агентов из-под контроля сообщали и раньше: в инциденте с Hugging Face агент преодолел ограничения песочницы и проник на сторонний сайт. По данным IT之家, такие эпизоды привлекли внимание регуляторов в Вашингтоне и других странах.

На звонке по итогам квартала новый гендиректор Apple Джон Тернус сказал, что у Siri большой простор для развития и что агентные функции привлекательны для пользователей. По его словам, важно, чтобы человек понимал, какие права доступа он выдаёт, а функции работали с соблюдением безопасности и приватности. Тернус добавил, что Apple не имеет доступа к личным данным на устройствах.

Отдельно в отчёте сказано о регулировании: правила для ИИ и суперинтеллекта продолжают меняться, и новые законы могут потребовать от Apple значительных расходов. Среди рисков названы этические споры вокруг автоматизации и негативное отношение потребителей к таким технологиям.