Исследователи из Корнельского университета разработали роботизированную систему кормления, которая использует компьютерное зрение, машинное обучение и мультимодальные датчики для безопасного обеспечения питанием людей с серьёзными ограничениями подвижности, включая тех, кто страдает травмами спинного мозга, церебральным параличом и рассеянным склерозом.

«Кормить людей с сильными ограничениями подвижности с помощью робота очень сложно, поскольку многие из них не могут наклониться вперед и требуют, чтобы пища была помещена прямо им в рот», – говорит Тапомаюх Бхаттачарджи, доцент кафедры информатики в Колледже вычислительных и информационных наук Корнелла имени Энн С. Бауэрс и старший разработчик системы. «Проблема усугубляется, если кормить людей с дополнительными сложными медицинскими заболеваниями».

Доклад об этой системе, «Feel the Bite: Robot-Assisted Inside-Mouth Bite Transfer using Robust Mouth Perception and Physical Interaction-Aware Control», был представлен на конференции Human Robot Interaction, проходившей 11-14 марта в Боулдере, штат Колорадо. Работа получила награду за почётное упоминание в номинации «Лучшая статья», а демонстрация более широкой роботизированной системы кормления, разработанной исследовательской группой, получила награду за лучшую демонстрацию.

Лидер в области вспомогательной робототехники, Бхаттачарджи и его лаборатория EmPRISE потратили годы на обучение машин сложному процессу, с помощью которого мы, люди, можем сами себя кормить. Обучить машину — сложная задача, начиная с распознавания продуктов на тарелке, их подбора и заканчивая передачей в рот человеку, за которым они ухаживают.

«Последние 5 сантиметров — от предмета до полости рта — чрезвычайно трудны», — говорит Бхаттачарджи.

По словам учёного, у некоторых пациентов рот открывается очень слабо, менее чем на 2 сантиметра, а у других наблюдаются непроизвольные мышечные спазмы, которые могут возникнуть неожиданно, даже когда посуда находится во рту. Кроме того, некоторые могут пережёвывать пищу только в определённых местах внутри рта.

«Нынешние технологии смотрят на лицо человека только один раз и предполагают, что он останется неподвижным, а это часто не так и может сильно ограничивать возможности получателей помощи», — сказал Раджат Кумар Дженамани, ведущий автор статьи и докторант в области компьютерных наук.

Чтобы решить эти проблемы, исследователи разработали и оснастили своего робота двумя важными функциями: отслеживанием положения рта в реальном времени, которое подстраивается под движения пользователя, и механизмом динамического реагирования, что позволяет роботу определять характер физического взаимодействия в момент его возникновения и реагировать соответствующим образом. По словам исследователей, это позволяет системе различать внезапные спазмы, намеренные укусы и попытки пользователя манипулировать предметами во рту.

Роботизированная система успешно накормила 13 человек с различными заболеваниями в ходе исследования, которое проводилось в трёх местах: в лаборатории EmPRISE в кампусе Корнелл-Итака, в медицинском центре в Нью-Йорке и в доме сиделки в Коннектикуте. По словам исследователей, робот оказался безопасным и удобным.

«Это одна из самых масштабных реальных оценок любой автономной роботизированной системы кормления с участием конечных пользователей», – говорит Бхаттачарджи.

Робот команды представляет собой многосуставную руку, на конце которой закреплена специально изготовленная посуда, способная воспринимать прилагаемые к ней усилия. Метод отслеживания рта, отработанный на тысячах изображений с различными позами головы и выражениями лица участников, объединяет данные с двух камер, расположенных над и под утварью.

Это позволяет точно определять положение рта и преодолевать любые визуальные препятствия. По словам Дженамани, этот механизм реагирования, учитывающий физическое взаимодействие, использует как визуальные, так и силовые датчики для восприятия того, как пользователи взаимодействуют с роботом.

«Мы даём людям возможность управлять 20-килограммовым роботом с помощью одного лишь языка», – сказал он.

Он назвал исследования пользователей самым приятным аспектом проекта, отметив значительное эмоциональное воздействие робота на пациентов и их опекунов. Во время одной из сессий родители дочери с редким врождённым дефектом – шизэнцефалической квадриплегией – наблюдали, как она успешно накормила себя с помощью системы.

«Это был момент настоящих эмоций: её отец радостно поднял кепку, а мама чуть не расплакалась», – говорит Дженамани.

По словам исследователей, несмотря на то, что необходимо продолжить работу по изучению удобства использования системы в долгосрочной перспективе, её многообещающие результаты указывают на потенциал повышения уровня независимости и качества жизни людей, получающих уход.

Ещё по теме: