Как выглядели бы герои DOOM, Wolfenstein и Minecraft в реальности? Отвечает нейросеть
Российский разработчик Денис Малимонов сделал Face Depixelizer — программу на базе нейросети PULSE, которая генерирует реалистичное лицо на основе пиксельного изображения на входе. Нейросеть старается подобрать такое лицо в высоком разрешении, чтобы в низком картинка совпадала по пикселям с тем, что подается как исходные данные. Вот краткая иллюстрация того, как она работает, и ссылки на исходники и Colab, чтобы попробовать самостоятельно.
- Тома Харди и Кристина Хемсворт. Как выглядели бы известные актеры, если бы сменили пол
- Ведьмак Геральт, Лара Крофт и Кратос «сменили» пол с помощью FaceApp. Вот что из этого вышло
Практически сразу же люди стали интересоваться, можно ли прогнать через алгоритм лица из старых видеоигр. И да, действительно можно.
Вот, например, Minecraft:
И, конечно, Думгай:
Стоит иметь в виду, что нейросеть создаёт не то же лицо, что было на исходнике, а похожее. Вот, например, Барак Обама.
В комментариях некоторые люди сочли подобные трансформации расизмом. Сам Малимонов рассказал «Канобу», почему нейросеть иногда осветляет лица — все дело в нейросети StyleGAN от NVidia, на которой и основана PULSE.
Когда обучали StyleGAN, то делали это на разных типах лиц. Естественно, можно запихнуть все-все расы разом, но тогда качество будет плохим. Поэтому изначально лица делили на азиатскую, европейскую внешность, чернокожих и так далее. Так результаты получились натуральные. Но конкретно PULSE, которая сделана ради фана, использовала только данные для европеоидных лиц. Конечно, если подавать на вход чисто чернокожее лицо, то оно останется темным. Но если исходник просто смуглого лица, — вот как у латиносов, например, — то нейросеть почти всегда их делает белыми. Но из-за этого в Twitter начинается: «Какие расисты это делали!». Хотя я даже не создатель нейросети.
Также некоторые пользователи стали писать, что подобные программы могут использоваться полицией для распознавания лиц с камер наблюдения. Но Малимонов подчеркивает, что алгоритм способен подобрать то же самое лицо только случайно, как правило, получается похоже, но не совсем то.
