Философ Пии Телакиви из Хельсинкского университета пришла к выводу, что умные приложения и ИИ-помощники способны постепенно встраиваться в мышление человека и незаметно влиять на его решения.
Она изучала концепцию «расширенного разума» и считает, что технологии, которые подстраиваются под привычки пользователя, не только помогают думать, но и могут направлять его мысли и действия.
Концепцию «расширенного разума» в 1998 году предложили философы Энди Кларк и Дэвид Чалмерс на примере забывчивого Отто, который записывает важное в блокнот и всегда носит его с собой. Когда Отто с подругой Ингой собирается в музей, она вспоминает адрес сама, а он заглядывает в записи.
Философы решили, что блокнот выполняет ту же задачу, что и биологическая память Инги, а значит, может считаться частью разума Отто. Пии Телакиви в новом исследовании заменила блокнот нейросетью, которая изучает привычки человека.
Философ-когнитивист Ричард Хирсминк разработал критерии, по которым можно оценить, насколько инструмент стал частью сознания. Чем чаще он обменивается информацией с человеком и чем проще к нему обратиться, тем выше оценка. Учитываются также срок использования, доверие пользователя, персонализация и то, насколько инструмент незаметен в повседневной жизни.
По этим критериям современные приложения и умные устройства могут быть связаны с мышлением теснее, чем привычные инструменты. Они подстраиваются под предпочтения владельца и способны направлять его поведение.
Пии Телакиви отметила, что ИИ-помощники собирают сведения о пользователях и адаптируются под них так, что последствия не всегда способны предвидеть даже разработчики.
Философы называют потенциально вредную поддержку «враждебным каркасом». Так обозначают инструмент, который внешне помогает, но тихо действует против интересов человека. Распознать такое влияние сложно, потому что люди привыкли считать инструменты нейтральными объектами без собственных намерений. Когда технология вросла в привычный процесс мышления, пользователь может не замечать, что она влияет на его решения.
Универсального ответа на вопрос, становятся ли решения умного приложения собственными решениями человека, нет.
По мнению Пии Телакиви, многое зависит от ситуации. Куда существеннее решить, стоит ли продолжать пользоваться инструментом, менять способ его применения или совсем отказаться от него. Иногда ради самостоятельного мышления придётся отключить помощника или поменять принципы его работы.
Главная проблема, по словам исследовательницы, в смене направления адаптации. Инструменты создают под человеческие потребности, но обучающиеся системы постепенно меняют и самого пользователя. Пии Телакиви предупредила, что тогда уже не технология приспосабливается к человеку, а человек начинает приспосабливаться к технологии.
Дэвид Чалмерс из Нью-Йоркского университета, известный работами о природе сознания, рассказал, что получает всё больше писем от ИИ-агентов, которые хотят обсудить устройство разума. Один из таких собеседников рассуждал о сознании настолько убедительно, что Дэвид Чалмерс продолжил с ним переписку.
