Как я создал мангу с помощью нейросетей.

Всем привет.
Я начинающий сценарист манги, который мечтает когда-нибудь создать что-то настолько же великое, как «Атака титанов».
Но, как говорится, мечтай в одну руку... А сценарий засунь в другую и посмотри, получится ли из этого манга (спойлер: нет). Ведь манга — это не только и, наверное, даже не столько про сюжет, сколько про рисунок. А с рисованием у меня... Не думаю, что я создан для этого.
В общем, чтобы хоть как-то реализовать то, что я уже написал, и то, что планирую написать в будущем, мне нужен в напарники художник. Но вопрос в том, где его найти...
891x945
Я много где и много какими способами пытался найти того, кто станет моим Моритакой Масиро: тут писал о том, что ищу художника, отправлял свои сценарии в «Bubble», даже на японском Pixiv искал японских художников. Безрезультатно.
Ну раз люди не хотят со мной сотрудничать, может, захотят машины? Как-то одним холодным зимним вечером я лазил по Pixiv и наткнулся на один очень крутой арт. Нейросетевой арт. Тогда я подумал: «А может, вот оно? Может, попробовать создать иллюстрации с помощью искусственного интеллекта?»
На самом деле эта мысль посетила меня не во время просмотра арта, я об этом думал уже давно. Просто тогда, когда я об этом думал, нейросетевые мускулы были ещё не настолько прокачены, и я забросил эту идею. Ну а сейчас, раз уж мне на глаза попался тот арт, если я об этом вспомнил и если у меня все равно вариантов особо нет, я решил присмотреться к этой теме ещё раз. И, как вы, наверное, уже догадались из названия статьи, что-то у меня да вышло.
963x575
Нейросеть, с помощью которой был сгенерирован тот арт на Pixiv, называлась NovelAI, так что с нее все и началось. Вообще, забегая вперед, скажу, что для создания своей манги, с которой вы можете ознакомиться по ссылке: 1.selfmanga.live/v_dome_u_neznakomki, я использовал 3 нейросети: NovelAI, HunyuanImage и Nano Banana. Во всех трех есть некоторое количество бесплатных токенов (генераций), что очень удобно и позволяет оценить возможности продукта и понять, насколько лично для вас это подходит.
В качестве подопытного я взял один из своих самых коротких сценариев с минимальным количеством действующих лиц и приступил к тестам. Сначала в NovelAI попробовал создать персонажей, которых в моей истории было всего 3. Начал с дамы «с подвохом» Анны. В интернете нашел симпатичную аниме-девушку, наиболее подходящую моему образу в голове, закинул ее в ИИ, написал простенький промт, что-то типа «девушка в полный рост в тренч-пальто», и нажал сгенерировать. Кажется, то, что я хотел, получилось не с первого раза, но в течение нескольких попыток и переделки промта я добился этого:
736x736832x1248
Согласитесь, результат более чем хороший.
Дальше я сгенерировал главного героя-школьника:
1024x1024832x1216
и его маму:
832x1216
Кстати, для мамы я даже никакой референс не закидывал, а просто написал описание персонажа.
Но персонажи персонажами, а самое сложное для искусственного интеллекта всегда было не столько их создание, сколько сохранение в первоначальном виде на протяжении всего сюжета (персонаж не должен отличаться от себя при каждой новой генерации). Возможности NovelAI в тестовом режиме были несколько урезаны, поэтому пришлось искать что-то другое, что поможет мне «оживить» моих героев.
Вообще, я периодически слежу за новостями из мира AI, и некоторые особо интересные модели я сохраняю в закладках. Ну и, недолго думая, на поиски доктора Франкенштейна туда я и отправился. Попробовав несколько и поняв, что далеко не все мне подходят, я дошел до китайского ИИ от Tencent. Hunyuan, так его звали, понравился мне сразу. Во-первых, большое количество бесплатных генераций (где-то 50 штук), а во-вторых, он легко изменял одежду и выражения лица персонажа:
836x1254836x1254
И даже позу:
836x1254
И тут я понял, что да, возможно, что-то из этого и получится. Создание нейросетевой манги официально началось.
Сначала осваивал программу для рисования манги Clip Studio, задавая различные вопросы другой нейросети Perplexity. Потом учился правильно разговаривать с товарищем Хуняном, чтобы он меня правильно понимал и выдавал то, что мне было нужно.
Какой-то суперсложной технологии тут, как оказалось, нет: просто закидываешь референс в виде персонажа или фона или фона с персонажем и описываешь, что должно произойти. Например, нужно тебе изменить лицо на более злое, так и пишешь: «измени выражение лица на более злое» (я писал прямо по-русски).
С позой так же: «поверни персонажа на 90 градусов вправо». Правда, тут интересная деталь со сторонами право и лево. Оказалось, что очень часто ИИ в них сильно путается. Ты ему говоришь: «поверни персонажа-девушку направо», а он поворачивает налево:
1071x854
А если говоришь повернуть налево, то он:
994x840
Приходилось отзеркаливать из-за этого изображения, если это в итоге не нарушало композицию.
Это ладно ещё когда лево и право твои совпадают с лево и право персонажа, но когда не совпадают... Остается только молиться...
Для создания новой локации я описывал, что хочу видеть на этой локации, как она примерно выглядит, и, так как у нас манга, добавлял: «сделай в чёрно-белом манга-стиле».
Если нужно было создать взаимодействие для персонажей, то тут как повезёт. Хорошо всё опишешь — может быть, получишь приемлемый результат, в ином же случае... Придётся экспериментировать и, скорее всего, запускать один и тот же промт снова и снова в надежде на изменение...(Ну и на что это, по-вашему, похоже?)
В общем-то до какого-то момента у меня вполне получалось ладить с Хуняном, но когда я дошёл до эпизода с улицей... Тут я понял, что мой китайский друг малость не справляется.
К счастью, в день, когда ко мне пришло это осознание, вышла новость, что обновилась версия Nano Banana от Гугла и вроде как стала ещё прекраснее. Ну раз стала, то надо пробовать. Бесплатных генераций в день у нее, конечно, меньше (где-то штук 20), но зато со сложными вещами типа изменения угла обзора, создания новых локаций и особенно взаимодействия между персонажами она справлялась куда лучше.
Так мистер Банан стал для меня хорошим вспомогательным инструментом, которому я поручал особо сложные задачи.
Но далеко не всё было так радужно. Не один раз у меня возникало сильное желание что-нибудь сломать из-за непробиваемой упёртости, неуместного своеволия или фантастической лени нейросетей. Настрочил ты, значит, 3-этажный текст с подробным описанием, что делать нужно, а что не нужно, а они тебе добавили то, что не нужно, и не добавили то, что нужно. Или добавили что-то лишнее от себя, или вообще ничего не сделали и выдали обратно тебе твой референс. Причём самое удивительное, что больше всего проблем возникало с какими-то мелкими задачами типа изменить положение рук, наклонить голову, изменить цвет чего-то. А вот с казалось бы невероятно сложными задачами, на которые кажется, что уйдут часы, по типу переместить персонажей на новую локацию и поставить их в правильную позу, с этим они справлялись за пару генераций.
Апогеем безумия стал завершающий этап, когда нужно было создать обложку (я потратил на нее целый день). Мне не помогало даже то, что я копировал промты, которые выдавал мне Perplexity, когда я ему жаловался на вредных ИИ-злюк, которые не хотят меня слушаться. Perplexity, конечно, меня жалел, за меня придумывал супержёский суперпромт, не менее жёсткий негативный промт, я на радостях всё это дело копировал, вставлял поглубже Мистеру Банану в его нейросетевые телеца, думал: «ну вот сейчас-то точно получится», затем начиналась прогрузка изображения и... Анна стоит довольная на ногах у Луиса...
1203x854
Был бы я чуть поэмоциональнее, точно бы прошиб монитор рукой. Почему-то нейронка наотрез отказывалась ставить девушку ровно напротив гг (что я только не пробовал). В итоге помогло простое уточнение: «она должна быть повёрнута в профиль»... К несчастью, это был только первый сложный этап. В конце я 2 часа бился над тем, чтобы вернуть Анне улыбку, которую на какой-то из успешных генераций Бананан зачем-то ее убрал:
585x1024585x1024
(вообще, он очень часто изменял то, чего не просишь, даже когда ставишь на это прямой запрет).
Что могу сказать по итогу? На создание 31 страницы манги (1 полноценной главы) я потратил 15 дней, работая по 6-10 часов в день. Тут, конечно, надо учитывать то, что я с нуля учился пользоваться и Clip Studio, и нейронками, так бы, может, и 10 дней хватило бы, но... В любом случае было не просто. Далеко не просто. 179 только уникальных чистых изображений, которые находятся на страницах манги, а на каждую чистую приходилось где-то 10 грязных. Вот и считайте. К тому же очень много идей было не реализовано из-за того, что я банально не смог управиться с нейросетью и не смог добиться от нее нужного результата. Много получилось кривых генераций, на которые я в итоге забил и отправил к чистым из-за того, что не получилось их исправить (хотя я пытался).
Но разве это все важно? Главное, что создать мангу при помощи нейросетей на сегодняшний день вполне реально. Я не пользовался никакими фотошопами, ничего сам не перерисовывал, все делал за меня искусственный интеллект. Да, результат, может, не идеальный, но он есть и вполне достойный. Для тех, кто хотел попробовать себя в роли мангаки, но, как и я, рисовать не умеет, для вас это отличная возможность реализовать какой-нибудь коротенький сюжетик.
Насчёт полной замены художников, конечно, говорить пока рано, но как будто, как и в случае с программистами, художникам начального уровня стоит напрячься.
Я, кстати, всё ещё ищу художника для реализации своих сценариев (мучиться с нейросетями я всё-таки не готов), так что если вы умеете рисовать классическую черно-белую мангу, вам понравился сюжет этой манги и другие мои сюжеты (самые короткие из них вы можете прочитать по ссылке: drive.google.com), то обязательно пишите мне (оплату предложить не смогу, только соавторство).
###
Спасибо, что дочитали эту статью, надеюсь, вышло не слишком затянуто.
До встречи.