Tales of Syn – это изометрическая ролевая игра в стиле классических игр Fallout. Её изюминка заключается в том, что она использует возможности Stable Diffusion и ChatGPT для создания игровых объектов, фонов, моделей персонажей и диалогов.
Разработанная британским художником под псевдонимом Hackmans, игра Tales of Syn начала привлекать внимание аудиотории в прошлом месяце. Проект также будет представлен на предстоящем фестивале фильмов и игр Culture AI Film and Games Festival 2023.
Что такое Tales of Syn?
Tales of Syn – видеоигра и комикс, действие которых происходит в мире Giga Bloc C – «разрастающимся мегаполис в недалёком будущем на Земле».
Это классический антиутопический мир в стиле киберпанк, в котором сочетаются высокие технологии и низкий уровень жизни. Игроку предстоит исследовать как верхние богатые уровни, контролируемые корпорацией «Эшелон», так и бедные кварталы, управляемые конкурирующими фракциями.
Основная цель проекта — испытать новые технологии искусственного интеллекта, чтобы увидеть, как они могут помочь дополнить процесс разработки как в производстве, так и в процессе повествования
Что особенно может привлечь внимание, так это серия сообщений в твиттер-аккаунте разработчика, подробно описывающих создание персонажей и другие аспекты разработки с помощью ИИ. Эта информация может оказаться действительно полезной для других авторов, особенно благодаря пошаговым инструкциям.
Как Stable Diffusion используется в Tales of Syn?
Сначала Hackmans решил доработать пользовательскую модель на основе аэрофотосъёмки, чтобы создать несколько концептов изометрических городских пейзажей.
Разработчик использовал снимки азиатских городов, сделанных с помощью Google Earth, и создал набор данных из восьми изображений, обрезанных до формата 512×512. Затем он обучил их стилю, используя итерацию Dreambooth, и выбрал в качестве базовой модели Stable Diffusion 1.5.
Первые сгенерированные результаты уже выглядели как многообещающие концепты, но им не хватало качества изображения и чётких линий.
Другой проблемой стало то, что Hackmans не мог генерировать выходные данные в живописном стиле. Поэтому автор решил поиграть с Automatic 1111, инструментом пользовательского интерфейса с открытым исходным кодом для Stable Diffusion, и его функциями Prompt Editing.
«Запустив генерации в обученном стиле на первых нескольких шагах и переключившись на масляную живопись или подобные художественные модификаторы, я обеспечил гораздо более широкий выбор стилей, которые по-прежнему сохраняли аэровизуальный изометрический вид», – отметил Хакманс.
«Вот некоторые результаты, полученные с помощью следующей подсказки: футуристическая городская улица, мегаполис, антиутопия, в [:vibrant oil painting:0.25]».
По словам разработчика, лучших результатов можно добиться, используя изображения из набора данных более высокого качества и больше примеров из набора данных.
Hackmans также использовал Stable Diffusion для создания изометрических задников для Tales of Syn. Идея заключалась в том, чтобы написать подробные подсказки, экспериментируя с количеством шагов и различными настройками шкалы без классификатора (шкала CFG). Последняя регулирует, насколько близко выходное изображение выглядит к подсказке и входному изображению.
Первые приличные результаты были достигнуты, когда Hackmans увеличил количество шагов до 100 и установил CFG на значения 15-30.
Для редактирования выходных изображений автор использовал Photoshop, чтобы закрасить насыщенные цвета, а затем поместил эти фоны в Unity. Целью было убрать всё освещение, а затем добавить его с помощью пользовательских шейдеров в движке.
В своём блоге Hackmans также описал различные методы, которые он использовал для создания карт глубины и нормалей, а также процесс создания теней для внутриигровой сцены и масштабирования выходного изображения, чтобы его можно было использовать в качестве фона.
Когда дело дошло до создания персонажей, Hackmans попытался найти способ превратить генерируемые Stable Diffusion изображения в 3D-модели. Эти персонажи должны быть выдержаны в стиле игрового мира и оставаться неизменными на протяжении всего проекта.
Сначала он нарисовал контуры персонажа с помощью Artstudio Pro на основе справочника пропорций, который нашёл в Интернете. Затем добавил несколько цветов и базовые тени, чтобы при обработке изображения с помощью Stable Diffusion создать материалы и детали одежды.
Hackmans поместил эти эскизы в генератор img2img в Automatic 1111, чтобы получить десятки нарисованных маслом портретов футуристического торговца.
После этого Hackmans отобрал лучшие результаты и доработал их в Photoshop, накладывая изображения друг на друга и добавляя определённые детали или удаляя конкретные области.
Одной из проблем с генерируемыми ИИ изображениями были ужасные руки (давняя проблема нейросетей), поэтому автору также приходилось их исправлять.
Следующим шагом было загрузить изображение в Spotlight, систему проекционного текстурирования в ZBrush, и сформировать основные формы с помощью инструмента генерации сетки DynaMesh.
Последующий процесс включал в себя скульптинг, создание карт и другие вещи, связанные с 3D-моделированием.
«Я достиг рабочего процесса, который отвечал моим первоначальным целям по созданию 3D-персонажей из изображений Stable Diffusion, что соответствовало стилю моего проекта», – написал Hackmans.
Как в Tales of Syn используется ChatGPT?
Hackmans загрузил пятиминутный ролик на YouTube, чтобы показать, как игрок сможет взаимодействовать с неигровыми персонажами.
Игра позволяет писать текстовые фразы в диалоговом окне, чтобы вызвать определённые ответы NPC. Процесс построен на языковой модели GPT-3.
На кадрах игрок спрашивает торговца, что тот продаёт и какое оружие изготавливает, а затем конкретизирует свои запросы более точными вопросами, такими как «Есть ли у вас инструмент, с помощью которого можно взломать сеть?» или «Можете ли вы научить меня пользоваться инструментами для взлома?».
Интересно, что голос торговца синтезирован с помощью инструмента генерации ИИ-голоса от ElevenLabs.
Стоит отметить, что этот диалог NPC является лишь прототипом, поэтому неизвестно какой уровень свободы будет у игрока в финальной сборке и как эта система будет работать на протяжении всей игры.
Более подробную информацию о создании персонажа и истории с помощью ИИ можно найти в полных статьях на сайте Tales of Syn. Hackmans также расскажет больше подробностей об игре и её разработке на предстоящей GDC 2023.
