В магазине App Store обнаружили приложения, в которых после прохождения модерации становились доступны инструменты для создания сексуализированных дипфейков. Как сообщает Wired, сеть включала свыше 400 связанных сайтов и приложений; часть из них также распространялась через Google Play.
По данным издания, приложения маскировались под безобидные сервисы – например, программы для изучения языков, ИИ-тренеров или обработки фотографий домашних животных. При определённых условиях они загружали скрытый веб-интерфейс, позволявший создавать откровенные изображения и ролики на основе загруженных пользователями фотографий.
В материалах расследования упоминаются шаблоны со сценами разного рода насилия. Подобный контент может использоваться для унижения, травли и угроз в адрес изображённых на них людей.
Как скрытые функции прошли проверку
Wired выявил более 400 доменов и приложений, предположительно связанных с одной китайской организацией. Продвижение велось, в частности, через тысячи видеореклам в Facebook* и Instagram*. Некоторые сервисы, как утверждается, находились в магазинах приложений около года.
Для обхода проверки применялась схема подмены содержимого после одобрения приложения. В обычном сценарии сервис показывал модераторам разрешённые функции, а затем менял контент, который подгружался с удалённого сайта. Одним из условий активации скрытых возможностей мог стать переход к загрузке приложения по рекламному объявлению о создании дипфейков на платформах Meta*.
После получения сведений Apple удалила 19 приложений. В компании заявили, что на момент проверки они соответствовали правилам App Store. По версии купертиновцев, разработчики уже после публикации изменили сайт, с которого приложение получало материалы, заменив одобренное содержимое другим, а затем рекламировали сервисы через объявления на сторонней платформе.
Apple ранее усилила правила App Store, направленные против приложений для «раздевания» людей с помощью ИИ и против подмены функциональности после модерации. В Meta* сообщили, что приняли меры в отношении более чем 10 000 рекламных аккаунтов, связанных с доменами из этой сети.