模型简介

《PSGAN: Pose and Expression Robust Spatial-Aware GAN for Customizable Makeup Transfer》一文于2019年9月发表，提出了一种渐进结构—条件生成对抗网络（PSGAN），它是一个能基于姿态信息生成全身的高分辨率图像的新框架。 近年来，许多人都研究过用深度生成模型自动生成图像和视频，这项技术对媒体创建工具来说很有帮助，它可以被用来进行图片编辑、动画制作甚至是电影制作。
就动漫产业角度看，一个能自动生成动画角色的神经网络不仅能为创作者带来诸多灵感，它还能为整个产业节省作画上巨额开支。现在我们已经有了能生成人物脸部图像的GAN，但还没有能生成角色全身图的工具。而且就这些生成脸部图像的神经网络来说，它们的图像质量还达不到工业级作画标准。
因此，开发一个既能生成全身图像，又能生成高质量姿态的GAN将对制作新角色、绘制新动漫大有裨益。但达成这个目标还有两大难点：（1）生成高分辨率图像；（2）用特定的姿态序列生成图像。
为了解决上述问题，我们引入PSGAN，它能根据结构信息，在训练过程中逐步提高生成图像的分辨率，以此细化图像在结构上的细节特征，如生成对象的全身图。同时，我们也在网络上添加了任意的潜在变量和结构条件，让它能基于目标姿势序列生成多样化和可控制的动作视频。 官方论文：https://arxiv.org/abs/1909.06956v2

• 1. 使用方法

  • 1.1. 准备数据集

  • 1.2. 模型训练

  • 1.3. 模型测试

• 2. 模型来源

1. 使用方法

1.1. 准备数据集

进入终端，在 /root/PSGAN （默认）路径下，运行以下命令：

mkdir data
ln -s /datasets/PSGAN/images /root/PSGAN/data/images
ln -s /datasets/PSGAN/landmarks /root/PSGAN/data/landmarks
ln -s /datasets/PSGAN/makeup.txt /root/PSGAN/data/makeup.txt
ln -s /datasets/PSGAN/non-makeup.txt /root/PSGAN/data/non-makeup.txt
ln -s /datasets/PSGAN/segs /root/PSGAN/data/segs

1.2. 模型训练

进入终端，在 /root/PSGAN （默认）路径下，运行以下命令：

python train.py

1.3. 模型测试

进入终端，在 /root/PSGAN （默认）路径下，运行以下命令：

python demo.py

2. 模型来源

https://github.com/wtjiang98/PSGAN