Чат-боты могут казаться серёзными собеседниками, которые отвечают как реальные люди. Но если приглядеться, они по сути представляют собой продвинутую версию программы, дополняющей ваши предложения, предсказывая следующие слова. Bard, ChatGPT и другие ИИ-технологии — это большие языковые модели (Large Language Models), то есть алгоритмы, натренированные на заданиях, похожих на те, что встречаются в школьных тестах, где нужно подставить пропущенные слова.
Проще говоря, это человеческие инструкции, говорящие компьютеру, как решить задачу или сделать вычисление. В данном случае алгоритм использует ваш запрос и все встречающиеся ему предложения, чтобы автоматически дополнить ответ.
Системы наподобие ChatGPT могут использовать только то, что они почерпнули из интернета.
Представим, что вы вводите в чат-бот следующее предложение: «Кот сел на ___». Сначала языковая модель должна понять, что недостающее слово должно быть существительным, чтобы фраза была грамматически правильной. Но существительным не должно быть любое слово — кот не может сесть на «демократию», к примеру. Поэтому алгоритм просматривает тексты, написанные людьми, чтобы понять, на что коты действительно садятся, и выбирает самый вероятный вариант. В этой ситуации, возможно, выяснится, что кот садится на «ноутбук» в 10% случаев, на «стол» в 20% случаев и на «стул» в 70% случаев. Тогда модель выберет самый вероятный ответ: «стул».
Используя такой процесс предсказания, система способна отвечать целыми предложениями. Если вы спросите чат-бота: «Как дела?», он сгенерирует «У меня всё…» (или «I’m» в оригинале), исходя из «вы» в вопросе, а затем добавит «хорошо» («good»), основываясь на том, как обычно большинство людей в интернете отвечает на вопрос «Как дела?».
Такой способ обработки информации и принятия решений отчасти напоминает то, как работает человеческий мозг.
«Хотя задача [предсказать самый вероятный ответ] кажется простой, она на самом деле требует невероятно сложного понимания того, как устроен язык и как устроен мир», — говорит Юн Ким, исследователь из Лаборатории информатики и искусственного интеллекта MIT. «Можно считать [чат-ботов] алгоритмами с маленькими "регуляторами". Эти регуляторы обучаются на данных из окружающей среды, что позволяет ПО создавать "вероятности для всего словарного запаса языка"».
Прелесть языковых моделей в том, что исследователям не нужно чётко задавать правила или грамматику, которым модель должна следовать. ИИ-чат-бот неявно учится формировать осмысленные предложения, потребляя токены — часто встречающиеся последовательности символов, взятые из текста книг, статей и веб-сайтов. Всё, что ему нужно, — это шаблоны и взаимосвязи, которые он находит среди определённых слов и фраз.
Однако такие инструменты нередко выдают неточные или неправильные ответы — отчасти из-за того, каким был процесс их обучения.
«Языковые модели обучены и на художественной литературе, и на научно-популярных текстах. Они обучены на всём, что есть в интернете», — отмечает Ким.
Если аккаунт MoonPie в Twitter напишет, что их печенья действительно родом с Луны, ChatGPT может использовать эту информацию в тексте о продукте. А если Bard решит, что кот сел на «демократию», прочитав эту статью, что ж, возможно, вам придётся свыкнуться с этой мыслью.
Ещё по теме: