В фокусе

В Apple рассказали, как Secure Exclaves защищает данные камеры и микрофонов

От приложений и даже от самого iPhone

Apple опубликовала подробности о технологии Secure Exclaves, которая изолирует обработку аудио и видео от основной операционной системы. Архитектура работает в HomeView, iPhone 18 Pro и других устройствах компании, распознаёт лица и голоса, анализирует окружающие звуки и запускает умные функции.

Исходные записи при этом не получают ни приложения, ни другие компоненты ОС, и даже у самой Apple прямого доступа к ним нет.
Secure Exclaves представляют собой отдельные защищённые вычислительные среды, которые обрабатывают данные камер и микрофонов независимо от остальной системы. Изолированные среды при этом могут использовать вычислительные ресурсы основного процессора.

В HomeView технология распознаёт лица и голоса и различает до шести человек в доме, а ещё контролирует индикатор активности камеры. В Siri Recap и Live Rewind защищённая среда обрабатывает окружающие звуки, чтобы строить краткие пересказы разговоров и расшифровывать последние 15 с речи.

На iPhone 18 Pro, iPhone 18 Pro Max и iPhone Duo Secure Exclaves защищают данные камер и микрофонов вместе с их индикаторами и участвуют в запуске Siri по команде «Привет, Siri». В MacBook Neo технология охраняет индикатор камеры.

Apple на примере распознавания людей в HomeView объяснила, как всё устроено. Устройство постоянно делает минимальную обработку изображения, чтобы понять, появился ли кто-нибудь в кадре.

Видеопоток уходит в изолированную среду камеры, а та общается с отдельной защищённой средой распознавания людей, где лежат модели анализа лиц и голосов и база зарегистрированных пользователей.

Когда перед камерой возникает человек, первая среда фиксирует присутствие и отправляет ОС сигнал о возможном обнаружении, а само изображение остаётся внутри защищённой области. Аудиопоток с микрофона отдельная среда обрабатывает по тому же принципу.

Система сопоставляет полученные сведения с сохранёнными образцами лиц и голосов зарегистрированных пользователей и считает вероятность совпадения. Операционной системе она отдаёт только короткий набор результатов, то есть идентификатор человека, его положение в кадре и оценку достоверности распознавания.

Исходные фото, видео и аудио для ОС и приложений недоступны. Этих данных хватает для персонализированных функций, например в Календаре и Сообщениях, а после обработки исходные данные с датчиков удаляются.

Работа над архитектурой началась ещё при создании iOS 18, когда появились функции, которым нужно постоянно анализировать происходящее вокруг через камеры и микрофоны. Световые индикаторы при непрерывном распознавании горели бы почти всегда, и владельцу было бы трудно понять, когда система просто осматривается, а когда пишет звук или видео.

Поэтому Apple предусмотрела два режима работы Secure Exclaves.
В скрытом режиме индикаторы не загораются, а защищённая среда реагирует на события и отдаёт ОС лишь ограниченные метаданные. В активном режиме система получает полный доступ к данным датчиков, и световой индикатор сообщает, что камера или микрофон работают.

Secure Exclaves ещё и следят за соблюдением правил индикации. Перед передачей исходных данных из изолированной среды в ОС технология проверяет, горит ли нужный индикатор, поэтому доступ к полному потоку аудио или видео должен сопровождаться уведомлением владельца.

Создание архитектуры потребовало отдельной вычислительной среды, которая самостоятельно обрабатывает данные датчиков. Одной из самых сложных инженерных задач стало выделение и изоляция памяти для Secure Exclaves. Техническое описание Apple выложила в разделе о безопасности своих устройств.

Меню