Опубликовано:
MIT научил роботов находить и исправлять ошибки в памяти об объектах
Система UQ-DAAAM сравнивает описания объекта с разных ракурсов и уточняет неверные подписи в памяти робота: неоднозначность снята для 92% объектов, точность выше на 5%.
Исследователи из MIT создали систему UQ-DAAAM, которая находит в памяти робота ненадёжные описания объектов и исправляет их. Робот сопоставляет несколько описаний одного объекта с разных ракурсов, оценивает свою неуверенность и сохраняет уточнённую подпись.
Метод развивает прежнюю систему DAAAM: она описывает объекты в сцене с помощью vision-language модели (VLM — модель, которая связывает изображение и текст) и хранит подписи в трёхмерной карте окружения. Если объект виден частично, издалека или на смазанном кадре, описание может оказаться неверным: тёмный предмет на крыше система сперва приняла за белку, а позже описала как серую трубу.
UQ-DAAAM считает два вида неуверенности: насколько VLM уверена в собственных словах и насколько описание согласуется с подписями того же объекта с других точек. Оба значения сводятся в одно число. Если оно выше порога, система по простому правилу выбирает дополнительные кадры, которые сильнее всего уменьшат неопределённость, и с помощью языковой модели собирает из подписей одно уточнённое описание.
Авторы математически доказали, что правило выбирает лучшие кадры без повторного запуска VLM, поэтому вся процедура занимает доли секунды на движущемся роботе. Уточнение снимает неоднозначность примерно для 92% объектов, причём на каждый объект нужно всего два дополнительных кадра. Точность описаний выросла на 5% по сравнению с существующими методами.
Работа будет представлена на конференции NeurIPS. Проект поддержали, в частности, Исследовательская лаборатория армии США и Управление военно-морских исследований США. Дальше авторы хотят применить метод к мобильным роботам-манипуляторам и научить робота возвращаться в места с высокой неопределённостью, чтобы лучше понять обстановку.