不吃萝卜

PNVS，全景新视角生成，CVPR2021
代码：https://github.com/bluestyle97/PNVS
问题：大视角翻译。
方法：
特征提取和结构估计：
特征提取网络是一个CNN,ResNet blocks。结构估计是类似LayoutNet的网络，预测一个边界关系图$B_{s}\in \mathbb{R}^{H\times W\times 3}$和一个拐角图$C_{s}\in \mathbb{R}^{H\times W}$。利用$B_{s},C_{s}$，和LayoutNet的标准后处理程序去获得房间拐角的二维位置$L_{s}\in \mathbb{R}^{N\times 2}$。深度估计网络也是LayoutNet结构。
视点转换与有布局先验的视图合成：
特征图视图转换：

利用双线性插值，将每个Fs像素处的特征向量分割到其在目标视图全景平面上相应的像素位置上。为了解决多对一映射问题引起的冲突，采用了soft z-buffering，可表述为：

特征图上采样：在splat之前先最近邻上采样。
布局视图转换：$L_{s}$-->$L_{t}$，与特征图视图转换类似，但略有不同，我们不能知道来自Ds的布局角的深度，因为它们可能会被前景对象遮挡。因此，我们用相机的高度h来估计每个拐角的深度。
带有布局先验的视图合成：结构类似于Edgeconnect: Structure guided image inpainting using edge prediction
布局一致性约束：
损失：L1，感知，风格，对抗，布局一致性损失。
训练方法：首先训练深度估计模块和布局估计模块，然后冻结它们，并训练其余的模型。
数据集：Structured3D dataset，一对三，并按照翻译距离分为easy，hard。
评估指标：PSNR,SSIM,LPIPS
其他:在真实数据集上的全景视图合成