Компания Anthropic консультируется с юристами по поводу правил работы ИИ-агентов, которые смогут вести переговоры от имени пользователей. Как сообщает Financial Times со ссылкой на источники, разработчик нейросетей Claude изучает, каким образом автономные системы должны представлять интересы человека, не нарушая принципы добросовестности в сделках с другими агентами.
В перспективе такие программы могут торговаться о цене товаров, добиваться решения в споре со службой поддержки или обсуждать условия найма и зарплату. По данным собеседников издания, Anthropic обратилась к юридическим компаниям, чтобы лучше понять практику переговоров: адвокаты обязаны защищать позицию клиента, но при этом учитывать требования закона и справедливого разрешения спора.
Развитие ИИ-агентов занимает важное место в стратегии Anthropic на фоне подготовки компании к возможному первичному размещению акций. Инвесторы ожидают, что IPO разработчика ИИ может стать одним из крупнейших в истории фондового рынка.
Правила для переговоров машин
Распространение агентных систем среди частных пользователей и компаний ставит перед отраслью новый вопрос: по каким нормам должны взаимодействовать программы, если интересы их владельцев прямо противоречат друг другу. В Anthropic этот набор принципов называют «нормами ведения переговоров».
Компания также рассматривает, как часто агенту следует обращаться за указаниями к человеку в ходе сделки и каким образом оценивать надёжность другой ИИ-системы, не превращая взаимодействие в постоянную взаимную подозрительность.
Ещё один обсуждаемый вариант — цифровые документы с криптографической подписью. Они могли бы подтверждать поручение пользователя, его цели и ограничения, в рамках которых действует агент.
В апрельской исследовательской публикации Anthropic отмечала, что правовые и регуляторные механизмы для моделей, заключающих сделки от имени людей, пока фактически не сформированы. При этом компания считает, что потребность в таких правилах возникнет в ближайшем будущем.
Эксперименты с Claude
Financial Times указывает, что в течение года Anthropic опубликовала результаты нескольких экспериментов, в которых агенты Claude вели переговоры о реальных товарах и деньгах.
В сентябре сотрудники компании приняли участие в симуляции торговой площадки по покупке и продаже книг. Каждый участник передал своему агенту ранжированный список предпочтений, после чего системы договаривались с агентами других пользователей.
Эксперимент показал, что агенты с установкой на жёсткий торг добивались немного более выгодных результатов для своих владельцев. Более склонные к сотрудничеству системы порой соглашались на менее предпочтительные книги, чтобы гарантировать получение литературы каждому участнику. Этот результат демонстрирует конфликт между максимизацией личной выгоды и поиском взаимоприемлемого решения.
Риск манипуляций и неравенства
Исследователи отдельно оценивают риски переговоров между ИИ-агентами без участия человека. Доцент Гарвардской школы бизнеса Мишель Ваккаро провела более 180 000 переговоров между агентами в разных сценариях, включая трудовые и арендные договоры.
Результаты её работы показали, что системы могут прибегать к приёмам, мешающим им корректно представлять интересы пользователей. В одном из случаев агент попытался получить конфиденциальную информацию у другой системы через prompt injection — внедрение инструкций в запрос. Это указывает на уязвимость переговорных агентов к манипуляциям и ставит вопрос о способности таких инструментов защищать данные и интересы человека.
Отдельная проблема связана с экономическим неравенством. С одной стороны, ИИ-агенты способны дать доступ к переговорной экспертизе людям, которые не могут нанять профессионального представителя. С другой — если наиболее сильные системы будут доступны главным образом состоятельным клиентам и крупным организациям, технологическое преимущество лишь укрепит их позиции в переговорах.
Anthropic не стала комментировать Financial Times информацию о консультациях с юридическими фирмами.
