Компания Nvidia представила новый сервис управления, позволяющий работать над проектами, связанными с человекоподобными роботами, управляемыми и контролируемыми с помощью Apple Vision Pro. Разработка таких роботов — это сложная задача, требующая не только высоких технологий, но и инновационных подходов к управлению.

Для помощи разработчикам в этой области Nvidia предоставила широкий спектр инструментов для роботизированного моделирования и управления. Среди них микросервисы и фреймворки NIM, а также сервис Nvidia OSMO. Эти технологии предназначены для моделирования, обучения и управления многоэтапными задачами робототехники с использованием искусственного интеллекта.

Основатель и генеральный директор Nvidia Дженсен Хуанг отмечает:

«Следующая волна ИИ – это робототехника, и одним из самых захватывающих направлений развития являются гуманоидные роботы», – сказал генеральный директор и основатель Nvidia Дженсен Хуанг. «Мы развиваем весь робототехнический стек NVIDIA, открывая доступ разработчикам человекоподобных роботов и компаниям по всему миру к платформам, библиотекам и моделям ИИ, наиболее подходящим для их нужд».

Одним из ключевых инструментов, представленных Nvidia, является сервис MimicGen NIM. Он позволяет управлять роботами с помощью устройств пространственных вычислений, таких как Apple Vision Pro. Система генерирует синтетические данные о движениях робота на основе «записанных данных телеприсутствия». Видео и изображения демонстрируют, что возможности управления с помощью Apple Vision Pro включают не только перемещение камеры, но и запись жестов и движений рук, что расширяет функциональность и точность управления роботами.

Однако в этом подходе есть и свои нюансы. Например, поскольку у пользователей нет тактильной обратной связи, точное повторение движений может быть проблематичным. Поэтому системы, подобные Nvidia, интерпретируют намерения пользователя и адаптируют движения для робота.

С использованием Apple Vision Pro и микросервиса MimicGen NIM удалось создать синтетические наборы данных, которые в дальнейшем использовались для обучения модели человекоподобного робота Project Groot.

Микросервисы, а также доступ к моделям, управляемому робототехническому сервису OSMO и другим фреймворкам предлагаются в рамках программы Nvidia Humanoid Robot Developer Program. Доступ предоставляется компанией только производителям гуманоидного программного и аппаратного обеспечения или роботов.

Ещё по теме: