用于姿势指导人图像合成的软门翘曲GAN

尽管图像合成研究取得了显着进展,但是现有的作品在大型几何变换的背景下常常无法处理图像。 合成以任意姿势为条件的人像是最有代表性的例子之一,其中生成质量主要取决于识别和建模不同身体部位任意变换的能力。当前的生成模型通常基于局部卷积而忽略了关键挑战(例如重度咬合,不同的视图或戏剧性的外观变化),这是由于任意姿势操作导致每个零件发生明显的几何变化。 本文旨在通过新的软门翘曲生成对抗网络(Warping-GAN)解决由几何可变性和空间位移引起的这些挑战,该网络包括两个阶段:1)首先合成给定目标的目标零件分割图姿势,它描述了用于指导具有更高级别结构约束的图像合成的区域级别的空间布局; 2)配备有软门翘曲块的Warping-GAN学习特征级映射,以将纹理从原始图像渲染到生成的分割图中。 在给定不同的目标姿势的情况下,Warping-GAN能够控制不同的变换程度。 此外,所提出的翘曲块轻巧且足够灵活,可以被注入任何网络中。 人体感知研究和定量评估证明了WarpingGAN的优越性,其在两个大型数据集上的性能明显优于所有现有方法。