В App Store нашли приложения со скрытыми дипфейками

Apple удалила 19 сервисов после расследования

1 мин.
В App Store нашли приложения со скрытыми дипфейками

В магазине App Store обнаружили приложения, в которых после прохождения модерации становились доступны инструменты для создания сексуализированных дипфейков. Как сообщает Wired, сеть включала свыше 400 связанных сайтов и приложений; часть из них также распространялась через Google Play.

По данным издания, приложения маскировались под безобидные сервисы – например, программы для изучения языков, ИИ-тренеров или обработки фотографий домашних животных. При определённых условиях они загружали скрытый веб-интерфейс, позволявший создавать откровенные изображения и ролики на основе загруженных пользователями фотографий.

В материалах расследования упоминаются шаблоны со сценами разного рода насилия. Подобный контент может использоваться для унижения, травли и угроз в адрес изображённых на них людей.

Как скрытые функции прошли проверку

Wired выявил более 400 доменов и приложений, предположительно связанных с одной китайской организацией. Продвижение велось, в частности, через тысячи видеореклам в Facebook* и Instagram*. Некоторые сервисы, как утверждается, находились в магазинах приложений около года.

Для обхода проверки применялась схема подмены содержимого после одобрения приложения. В обычном сценарии сервис показывал модераторам разрешённые функции, а затем менял контент, который подгружался с удалённого сайта. Одним из условий активации скрытых возможностей мог стать переход к загрузке приложения по рекламному объявлению о создании дипфейков на платформах Meta*.

После получения сведений Apple удалила 19 приложений. В компании заявили, что на момент проверки они соответствовали правилам App Store. По версии купертиновцев, разработчики уже после публикации изменили сайт, с которого приложение получало материалы, заменив одобренное содержимое другим, а затем рекламировали сервисы через объявления на сторонней платформе.

Apple ранее усилила правила App Store, направленные против приложений для «раздевания» людей с помощью ИИ и против подмены функциональности после модерации. В Meta* сообщили, что приняли меры в отношении более чем 10 000 рекламных аккаунтов, связанных с доменами из этой сети.

⛔
*Компания Meta, а также принадлежащие ей соцсети Facebook и Instagram, признаны экстремистскими и запрещены на территории РФ.