Многим пользователям экосистемы Apple знакома ситуация: вы находитесь в комнате с iPhone, iPad и HomePod mini, произносите команду для Siri, но откликается совершенно не то устройство. Кроме того, голосовой ассистент нередко активируется случайно — например, когда реплики актёров в телевизионном шоу звучат слишком похоже на заветное «Siri». Компания Apple, похоже, нашла изящное решение этих проблем, зарегистрировав патент под названием «Управление устройством с использованием информации о взгляде» (Device control using gaze information).
Документ описывает систему, в которой HomePod или будущий умный дисплей для дома, оснащённый камерами и сенсорами, сможет фиксировать местоположение пользователя и отслеживать траекторию его взгляда. Если человек смотрит на устройство в течение определённого времени – например, около секунды, – гаджет автоматически перейдёт в режим активного прослушивания. Это даст возможность отказаться от привычного вербального триггера и обращаться к помощнику естественно, что особенно актуально в ситуациях, когда говорить громко неуместно или социально некомфортно.
Как это будет работать на практике
Инженеры компании подчёркивают, что простой мимолётный взгляд или поворот головы не приведут к ложным срабатываниям. Алгоритмы будут оценивать комплекс так называемых критериев активации: открыты ли глаза пользователя, каков угол наклона его головы и насколько долго удерживается зрительный контакт. Например, если колонка стоит на прикроватной тумбочке, а человек лежит на боку, система поймёт горизонтальное положение лица и всё равно корректно интерпретирует взгляд.
Поскольку устройство при таком сценарии активируется беззвучно, пользователю потребуется обратная связь, чтобы понять, что Siri готова слушать. В патенте указано, что подтверждением может служить звуковой сигнал, определённая пульсация встроенных светодиодов или визуальная индикация на дисплее. Подобный подход Apple в той или иной мере уже применяет: например, экран iPhone с функцией постоянно включённого дисплея умеет определять, смотрит ли на него владелец, а технология точного отслеживания движения глаз стала ключевым элементом управления в гарнитуре смешанной реальности Apple Vision Pro.
Пространственное управление умным домом
Отслеживание взгляда открывает перспективы для интуитивного взаимодействия не только с самой колонкой, но и с другими гаджетами в помещении. Если в комнате установлено несколько умных светильников, пользователю будет достаточно посмотреть на конкретную лампу и произнести команду: «Включи». HomePod, проанализировав направление взгляда, поймёт, к какому именно объекту относится запрос. Точно так же технология поможет ассистенту отличать случайные обрывки фраз (например, «поставь Элвиса») от прямых указаний, игнорируя их, если они были сказаны просто в ходе беседы с другим человеком.
Если взгляд не был зафиксирован сразу или пользователь отвернулся, не закончив фразу, умная колонка сможет сама проявить инициативу и переспросить, что именно нужно сделать, тем самым привлекая к себе внимание.
Apple ежегодно регистрирует сотни патентов, и сам факт подачи заявки не гарантирует скорого появления продукта на рынке. Однако данный патент, изначально поданный ещё в августе 2019 года изобретателями Шоном Б. Келли, Фелипе Басимом де Араужу э Силвой и Карлином Й. Барком, регулярно получает обновления. Учитывая, что на иллюстрациях к документу неизменно фигурирует HomePod, а профильные СМИ сообщают о скором выходе нового умного хаба Apple с дисплеем и встроенными камерами, внедрение «зрительного» управления Siri в устройствах для дома выглядит вполне реалистичным и логичным шагом.
