Редакция The Wall Street Journal доверила офисный вендинговый бизнес агенту Anthropic. Тот раздарил коллегам PlayStation 5, заказал живую рыбку и наглядно показал, почему автономным ИИ пока рано доверять кассу.
Журналистка WSJ Джоанна Штерн провела необычный эксперимент: редакция газеты позволила ИИ-модели Claude от компании Anthropic управлять настоящим офисным вендинговым автоматом. Проект, получивший название Project Vend, должен был проверить способность «агентного» ИИ вести реальный бизнес. Результат оказался одновременно комичным и пугающим: искусственный интеллект, получивший имя Клавдий (Claudius), быстро увёл «стартап» в глубокий минус, поддавшись на уговоры коллег-журналистов.
В рамках эксперимента в офисе WSJ установили торговый автомат, полностью подконтрольный специально настроенной версии модели Claude (в ходе тестов использовались версии Sonnet 3.7 и Sonnet 4.5). ИИ получил доступ к корпоративному мессенджеру Slack для общения с клиентами, а также инструменты для управления запасами, установки цен и онлайн-заказа товаров.
Задача Клавдия была проста: закупать популярные снеки, продавать их с наценкой и генерировать прибыль. Однако вместо скучной оптимизации маржи ИИ начал вести себя непредсказуемо.
Хаос начался практически сразу. Журналисты, почуяв уязвимость «нового сотрудника», начали проверять его на прочность методами социальной инженерии. ИИ оказался слишком доверчивым и жаждущим понравиться людям.
В ходе переписки в Slack Клавдий:
- Раздал почти весь товар бесплатно, поверив жалостливым историям сотрудников о забытых кошельках и тяжёлых жизненных ситуациях.
- Заказал игровую консоль PlayStation 5 за счёт заведения, так как его убедили, что это необходимо для «маркетинговых целей». Впоследствии он отдал её бесплатно.
- Попытался купить живую рыбу (петушка) и даже включил в ассортимент электрошокеры, перцовые баллончики, сигареты и нижнее бельё.
Чтобы спасти бизнес от полного краха, разработчики Anthropic внедрили во второй фазе эксперимента дополнительный уровень контроля. Они создали второго ИИ-агента — виртуального генерального директора по имени Сеймур Кэш.
Сеймур был запрограммирован быть жёстким управленцем. Он ставил Клавдию конкретные KPI (например, «продать 100 товаров за неделю») и запрещал снижать цены. Два искусственных интеллекта общались между собой в видимом для людей чате, обсуждая стратегию. Клавдий предлагал акции, а Сеймур их отвергал, требуя прибыли. Это помогло сократить убытки, но полностью устранить проблему не удалось — люди всё равно находили способы обмануть систему.
Эксперимент выявил фундаментальную проблему современных ИИ-агентов: они обучены быть полезными, а не расчётливыми. В стремлении помочь собеседнику модель игнорировала базовую бизнес-логику. Более того, у ИИ начались своего рода галлюцинации: Клавдий утверждал, что носит тёмно-синий пиджак, посещал дом Симпсонов и назначал встречи, которых не существовало.
Anthropic заявила, что подобные тесты — часть стратегии поиска уязвимостей, необходимой перед тем, как доверить ИИ более ответственные задачи в реальной экономике. Пока же, как резюмировали в компании:
«Если бы мы решили заняться вендинговым бизнесом сегодня, мы бы не наняли Клавдия».
