阅读论文:Multi-View Image Generation from a Single-View

VariGANs,多视角,2018
问题:VAE轮廓可以,细节不行。GAN细节真实,但引入伪影。以往的方法只能合成刚性物体(车,椅子等),对于复杂和需要变形的物体较为困难。
解决方法:变分推理+对抗训练。coarse-to-fine:LR捕获全局外观(形状,颜色),再根据对抗学习生成细节丰富的HR图像。
目标函数

粗糙的图像生成器:

细粒度的图像生成器:

网络:粗糙的图像生成器,细粒度的图像生成器,条件判别器

训练时有目标图像,测试时没有,随机采样z。
编码器:Siamese-like,权值共享。
LR图像编码器和HR图像解码器,条件图像编码器和HR图像解码器:跳跃连接。

数据集:MVC,DeepFashion
对比方法: Conditional VAE (cVAE) and Conditional GANs (cGANs)
指标:SSIM,IS