阅读论文:GANHOPPER: Multi-Hop GAN for Unsupervised Image-to-Image Translation
GANHOPPER,无监督,ECCV2020。
问题:模型常解决的是局部和风格的转换,而几何和形状偏差大的不太行。因此考虑限制和引导翻译过程,逐步跨越领域。狗->猫的4-hop为例,比如最开始完全像狗,一步后25%像猫75%像狗,再几步后,完全像猫。
相关工作:以前的解决几何变形的方法是风格-内容、尺度分离、特征解缠等。而本文仅在图像空间。
结构:CycleGAN的两个生成器G、F,判别器。
损失:
循环一致性损失:与CycleGAN不同,论文里是指。反之亦然。
对抗损失:LSGAN,针对每个hop生成的图像。
Hybrid loss:评估属于某个域的程度,。
Smoothness loss:惩罚n和n-1 hop之间的差异,使每次变化较小,最终完整。L1 norm。
训练过程:每次hop都是同一个生成器。算法如图:
Future work:自动学习hop数。所有hop使用同样的G,能否在考虑内存的情况下改进。与多模态结合。将hop信息one-hot编码作为生成器的输入。生成在给定图像域之外的有意义的extrapolation sequences,以产生创造性和新颖的输出。