阅读论文:Contrastive Learning for Unpaired Image-to-Image Translation
CUT,无监督,对比学习,ECCV2020。
代码:https://github.com/taesungp/contrastive-unpaired-translation
问题:CycleGAN使用循环一致性保持原内容(结构),但它是基于双向映射的假设,这太过限制。因此基于对比学习来最大化两者的互信息。
生成器由一个编码器和解码器组成。
对抗损失
互信息最大化:使用一个噪声对比估计框架,计算交叉熵损失,表示正例被选择在负上的概率。
多层,分段对比学习:
单张图片内创造负例:
是层数,是位置数,上式括号里三个分别为输入对应的特征,输出对应特征,和输入不对应特征。
数据集内创造负例:
总损失:系数为1,1的时候是CUT,效果好。而10,0时是FastCUT,轻量级。