我们已经为您准备好复现该模型所需的环境,您可以创建实例、一键复用哦!

模型的使用文档涵盖模型所需环境、模型简介以及复现模型的具体步骤。模型效果和模型详细来源可以点击论文地址和模型来源链接查看哦~

PSGAN

2022-02-23 psgan:ubuntu18.04-cuda10.2-cudnn7-python3.6-pytorch1.5.0

模型标签
目标检测图像分类

模型简介

《PSGAN: Pose and Expression Robust Spatial-Aware GAN for Customizable Makeup Transfer》一文于2019年9月发表,提出了一种渐进结构—条件生成对抗网络(PSGAN),它是一个能基于姿态信息生成全身的高分辨率图像的新框架。 近年来,许多人都研究过用深度生成模型自动生成图像和视频,这项技术对媒体创建工具来说很有帮助,它可以被用来进行图片编辑、动画制作甚至是电影制作。
就动漫产业角度看,一个能自动生成动画角色的神经网络不仅能为创作者带来诸多灵感,它还能为整个产业节省作画上巨额开支。现在我们已经有了能生成人物脸部图像的GAN,但还没有能生成角色全身图的工具。而且就这些生成脸部图像的神经网络来说,它们的图像质量还达不到工业级作画标准。
因此,开发一个既能生成全身图像,又能生成高质量姿态的GAN将对制作新角色、绘制新动漫大有裨益。但达成这个目标还有两大难点:(1)生成高分辨率图像;(2)用特定的姿态序列生成图像。
为了解决上述问题,我们引入PSGAN,它能根据结构信息,在训练过程中逐步提高生成图像的分辨率,以此细化图像在结构上的细节特征,如生成对象的全身图。同时,我们也在网络上添加了任意的潜在变量和结构条件,让它能基于目标姿势序列生成多样化和可控制的动作视频。 官方论文:https://arxiv.org/abs/1909.06956v2



1. 使用方法

1.1. 准备数据集

进入终端,在 /root/PSGAN (默认)路径下,运行以下命令:

mkdir data
ln -s /datasets/PSGAN/images /root/PSGAN/data/images
ln -s /datasets/PSGAN/landmarks /root/PSGAN/data/landmarks
ln -s /datasets/PSGAN/makeup.txt /root/PSGAN/data/makeup.txt
ln -s /datasets/PSGAN/non-makeup.txt /root/PSGAN/data/non-makeup.txt
ln -s /datasets/PSGAN/segs /root/PSGAN/data/segs

1.2. 模型训练

进入终端,在 /root/PSGAN (默认)路径下,运行以下命令:

python train.py

1.3. 模型测试

进入终端,在 /root/PSGAN (默认)路径下,运行以下命令:

python demo.py

2. 模型来源

https://github.com/wtjiang98/PSGAN