Компания Generalist AI показала GEN-1.5, базовую модель для роботов, которой достаточно короткого видео с действием вместо подробного программирования. Человек демонстрирует нужное движение за время от 3 до 12 секунд, а робот затем повторяет его сам. Параметры модели при этом не меняются, и отдельная настройка под новую задачу не требуется.
GEN-1.5 сразу разбирает видеоряд, показания датчиков, языковые сигналы и проприоцептивные данные о положении и перемещении собственных частей робота. В памяти система держит до 30 секунд информации и строит траектории движения с частотой 100 Гц. Обучающим примером служит либо действие человека с ручным контроллером, либо запись работы другого робота.
В опытах с 10 бытовыми поручениями GEN-1.5 после одного показа справилась с 59% заданий. Робот освоил несколько операций — откручивание крышек с банок, извлечение купюр из кошелька, складывание стаканчиков, уборка мусора, раскрытие книг и расстёгивание молний на пеналах.
Если добавить 5 минут обучающих материалов под конкретное задание и провести 10 шагов дообучения, доля удачных попыток поднималась до 83%.
GEN-1.5 умеет соединять уже освоенные навыки. В одном опыте модели по отдельности показали расстёгивание пенала и извлечение предмета, после чего она собрала оба умения в единую последовательность и сама добавила промежуточные движения, которых не было в исходных показах.
Разработчики проверили перенос навыков в незнакомую обстановку. Показы из симуляции GEN-1.5 применила для управления настоящим роботом, хотя на симуляционных данных её не тренировали.
В другом опыте человек выполнил действие перед камерой робота, и система воспроизвела его собственными манипуляторами.
Порой робот находил решение, не совпадавшее с исходным примером. После обучения смахивать блок в миску щёткой GEN-1.5 позже решила ту же задачу при помощи банана. Когда вместо привычного предмета ей дали совок, система выбрала другую последовательность и подняла им блок, переложив его в миску. Разработчики отметили, что таким действиям модель специально не учили.
Технология Generalist AI способна заметно упростить обучение машин. Вместо прописывания каждого движения и отдельной подгонки робота под каждую задачу человеку хватит один раз показать нужное действие. Похожий путь ранее выбрала китайская Feagine Robotics, чья модель Fi0 переносит освоенные навыки между роботами разной конструкции.
