Apple работает над более продвинутой функциональностью Siri в рамках набора инструментов Apple Intelligence, и для подготовки к этому она предоставляет разработчикам API App Intent, чтобы приложения были готовы к новым возможностям.

В последней волне бета-версий Apple представила новый API, который позволяет разработчикам сделать содержимое экрана в своих приложениях доступным для Siri и Apple Intelligence. Из документации Apple:

Когда пользователь задаёт вопрос об экранном контенте или хочет выполнить действие с ним, Siri и Apple Intelligence могут получить этот контент, чтобы ответить на вопрос и выполнить действие. Если пользователь явно попросит об этом, Siri и Apple Intelligence могут отправить содержимое в поддерживаемые сторонние службы. Например, пользователь может просматривать веб-сайт и использовать Siri для получения краткой информации, сказав или набрав фразу типа «Привет, Siri, о чём этот документ?».

В бета-версии iOS 18.2 интеграция ChatGPT с Siri позволяет пользователям задавать вопросы о фотографиях и документах, таких как PDF-файлы и презентации, и получать информацию о них. Например, вы можете спросить Siri «Что на этой фотографии?», и Siri сделает скриншот и передаст его в ChatGPT. Затем ChatGPT расскажет, что находится на изображении, и та же функция работает с PDF-файлами и другими документами.

Похоже, что интеграция ChatGPT в iOS 18.2 не является функцией осознания экрана, которую Apple запланировала для Siri, но она может быть связана с ней. Компания описывает понимание экрана как способность Siri распознать происходящее на дисплее и предпринять соответствующие действия. Например, если кто-то напишет вам адрес, вы сможете сказать: «Добавьте этот адрес в карточку контактов», и Siri сделает это. Эта функция недоступна в iOS 18.2, а ChatGPT ограничивается лишь просмотром скриншотов.

Несмотря на то, что многие функции Siri появятся только в следующем году, Apple предоставляет разработчикам API заранее, чтобы у них было несколько месяцев на подготовку и чтобы к моменту выхода обновлений функции были готовы.

Ещё по теме: