Роботы продолжают сталкиваться с проблемами при выполнении задач, которые кажутся простыми для человека. Чтобы справиться с этими трудностями, Microsoft и группа исследователей разработали тест GroundedPlanBench. Этот тест оценивает, насколько хорошо модель может планировать действия и привязывать их к конкретным объектам на изображениях.
В большинстве случаев робот сначала получает словесный план от одной модели, а затем другая модель пытается перевести его в физические действия. Это часто приводит к ошибкам, когда указания не стыкуются. Например, когда машине поручают выбросить бумажные стаканчики, она может перепутать, какой именно стакан взять.
Новый тест требует, чтобы каждый шаг плана был связан с определенной точкой или объектом на изображении, что помогает модели учитывать физическое пространство. В наборе заданий свыше 1000 инструкций, включая как простые задачи, так и более сложные, требующие человеческого понимания.
Для борьбы с этими трудностями команда разработала метод Video-to-Spatially Grounded Planning (V2GP), который обучает систему на видео реальных взаимодействий роботов с предметами. Этот метод позволяет создавать структурированные планы, которые связывают действия с конкретными местами. После обучения на 40 тысячах планов модели стали значительно лучше привязывать действия к нужным объектам, а также сократили количество повторяющихся ошибок.
Тем не менее, проблема не решена полностью, и более сложные задачи все еще вызывают затруднения. Исследователи планируют дальнейшие улучшения, которые объединят их работу с предсказательными моделями, чтобы система могла предугадывать возможные ошибки еще до выполнения действий.