SfMLearner——CVPR 2017

Unsupervised Learning of Depth and Ego-motion from Video
——CVPR 2017
作者：Google zhoutinghui
github: https://github.com/tinghuiz/SfMLearner

参考：
论文笔记-深度估计(6)-Unsupervised Learning of Depth and Ego-Motion from Video
深度学习SLAM结合之google开源SFMLearner论文详解-Unsupervised Learning of Depth and Ego-Motion from Video
sfm-learner学习心得

1. 基本认识

• 训练出3个网络：depth、pose、explainability
• 重要概念：target view、source views

2. 技术要点

• 网络样子：
• supervision pipeline:

  用depth和pose网络分别输出的predicted D和T，弄出一个Loss

• 双线性插值、warping： 对于target图中的某位置pt，用predicted D 和 T，算出该点对应到source图中是在ps这个位置（因为不一定是在整像素点，所以需要用双线性插值算出该ps点在source上的真实像素值）。对于所有target和source对，对于每个source中的每个像素点，计算像素值之差的和：

• （1）考虑到环境不理想的情况（运动物体、相机运动模糊）：
  

  加一个置信参数： 但这样的话minimize loss就直接让E为0就可以了。为了避免这种现象，最终的loss要加一个关于E的项，to encourage nonzero predictions by 最小化每个像素点与1之间的交叉熵损失。
  （2）