Исследователи из UCSD, IAIFI и MIT научили собаку-робота воспринимать трёхмерный мир с помощью новой архитектуры нейрообъёмной памяти (NVM).

Используя эту технологию, робособака может подниматься по лестнице, преодолевать овраги, перелезать через препятствия и многое другое с помощью единой нейронной сети – полностью автономно и без необходимости дистанционного управления.

Заметили ли вы белую коробку на спине собаки?
Внутри находится чип M1 от Apple, который отвечает за выполнение задач по обработке зрения робота. Более того, он был извлечён командой из одного из компьютеров Mac.

Нетрудно заметить, что собака-робот Массачусетского технологического института может достаточно легко и непринуждённо перелезть через ветки деревьев, расположенные поперёк её пути.

MacBook с четырьмя ногами

Хорошо известно, что собакам-роботам и другим роботам с ногами бывает трудно преодолевать неровные поверхности. Чем сложнее дорожные условия, тем больше препятствий, которые невозможно разглядеть.

Для решения проблемы «частично наблюдаемого окружения» существующие методы вроде SOTA, которые связывают каналы изображения путём сложения кадров.

Однако этот  подход значительно отстаёт от современных методов компьютерного зрения, которые могут явно моделировать световые потоки и конкретные 3D-геометрии. Вдохновившись этим, команда разработала архитектуру нейронной объёмной памяти (NVM), которая полностью учитывает трёхмерного мира.

В отличие от предыдущих подходов, NVM – это объёмный формат. Он позволяет объединять данные с нескольких камер, что позволяет роботу лучше понимать окружающую обстановку.

Результаты испытаний показали, что после обучения движениям ног с использованием NVM, робот значительно лучше справлялся со сложным рельефом, чем с использованием предыдущих методик.

Кроме того, результаты экспериментов показали, что содержимое, хранящееся в NVM, захватывает достаточно геометрической информации для реконструкции трёхмерной сцены.

Эксперименты в реальном мире

Чтобы проверить это в различных сценариях реального мира за пределами симуляции, команда провела эксперименты как в помещении, так и на улице.

Когда перед собакой-роботом внезапно появляется препятствие, она сразу же решает его обойти.

Ходьба по каменистой почве, казалось, не представляла проблемы, хотя всё же была немного более трудной, чем по ровной земле.

Препятствия, которые относительно велики по сравнению с самим роботом, тоже можно преодолеть, приложив некоторые усилия.

Используя предыдущую технику управления распознаванием, задние лапы робопса допустили очевидную ошибку в определении расстояния, и нога в канаве перевернула машину, выведя из строя.

После внедрения NVM, предложенного Массачусетским технологическим институтом, робопсёс пересекает препятствие гораздо проще.

Что будет, когда они решат внедрить нейросети в таких «питомцев» – можно только догадываться. Или опасаться?

Ещё по теме: