阅读论文:Two-Stream Appearance Transfer Network for Person Image Generation
2s-ATN,有监督,arxiv, 2011.04181v1.
问题:由于CNN是由空间局部算子和翻译等变量算子组成的(卷积、池化等),它们没有明确的机制去解决身体关节变形。以前的解决方式有两种:1.参数几何变换,如用仿射变换,但不能处理遮挡或平面外旋转问题。2.非参数密集流,但流场也是由CNN预测的,它不能解释大的或非局部的移动。
2s-ATN:
外观转换模块(AT-module):
两流特征融合模块:实验得在该网络下用concatenation比sum好。
损失:对抗损失,L1-norm,感知损失(conv1_2 layer)
判别器:外观判别器和形状判别器。
外观判别器决定(source image,target image)和(source image,generated image)的真/假。
形状判别器决定(target pose,target image)和(target pose,generated image)真/假。
数据集:Market-1501(263632,12000)和DeepFashion(101966,8750)。
指标:SSIM,IS,Mask-SSIM,Mask-IS,PCKh score(形状一致性)。
消融:AT-module的影响,两流特征融合模块的影响,AT-blocks的数量的影响(9最佳)。
PCKh score:Progressive pose attention transfer for person image generation