Apple обучила 8B-агента навигации по живым iOS-приложениям

Apple представила метод обучения агентов навигации по интерфейсу прямо в работающих iOS-приложениях — online dense reinforcement learning. Агент на 8 млрд параметров на реальных iOS-приложениях обошёл Gemini-3.5-Flash и показал результат на уровне Gemini-3.1-Pro. При переносе на Android он почти в семь раз превзошёл базовую версию, обученную с учителем (supervised fine-tuning). Статью написали Peitong Duan, Seyed Khashaiar Gatmiry, Jeff Nichols, Emmanuel Abbe и Samy Bengio.

Авторы объясняют задачу высокой ценой инференса и хрупкостью малых моделей. Крупные vision-language модели хорошо справляются с навигацией по интерфейсу, но слишком дороги для повседневного запуска. Малые после обучения с учителем или offline RL запоминают статичные траектории и не восстанавливаются после ошибки.

Apple разделила агента на два компонента: Planning-агент и модель UI Grounding. Награду считает LLM-as-a-Judge: пошаговая обратная связь показывает промежуточный прогресс, финальная — выполнена ли задача целиком. Обучение идёт через PPO с оценкой advantage на каждом шаге. Отдельный метод GiGPPO (neighbor-conditioned value estimation) стабилизирует критика, подмешивая сигналы от визуально похожих состояний в параллельных траекториях.

Инфраструктура оркестрирует сотни одновременных виртуальных iOS-устройств, чтобы онлайн-обучение работало в масштабе. Проверка шла на бенчмарках UINavBench, iOSWorld и AndroidWorld: агенты после онлайн-RL превосходят варианты на SFT и на RL только с финальной наградой, а сходимость обучения ускоряется.

Это исследовательская публикация: код, цены и сроки появления метода в продуктах Apple в материале не указаны.