四、双目标定

为了得到图片中物体的深度信息，引入双目视觉，双目标定在的基础上，标定出左右摄像机坐标系之间的相对关系。

若对单目标定不了解，请先食用：

林青春：工业相机单目标定​zhuanlan.zhihu.com

1、基本概念

所涉及的专业名词有对极几何，本征矩阵，基础矩阵。

双目相机基于对极几何的理论，本征矩阵E包含在物理空间两个摄像机相关的旋转与平移信息，基础矩阵F除了包含E的信息还包括两个相机的内参数。E是几何意义上的，与成像仪无关，将左相机观测到的点P的坐标与右相机观测到的相同点的坐标关联起来(相机坐标系下)，F则是将左相机的像平面上的点与右相机观测到的像平面上相同点关联起来(像素坐标系)。

1.0、对极几何

立体成像系统的几何基础被称作“对极几何”

投影点：XL，XR

极点：相机光心投影到另一个相机的像平面上，eL，eR。

极线：直线Ol-XL因为与左相机的光学中心对其，所以在左相机被视为一个点（直线上的任意一点都投影到像平面上的XL点），但是，右侧相机会将此视为图像平面的一条线（图中红线），这条在右侧相机像平面上的直线eR-XR称为极线，同理，左相机像平面上的直线XL-eL也称为极线。

极线平面：XL-eL-eR-XR构成的平面

主点：主光线和相平面的相交位置OL，OR，两对极点与主点在同一3D直线上。

摄像机视图中的每一个三维点都被包含在与每个图像相交的极面中，二者相交产生的直线是极线。

给定一幅图像的特征，在另一图像的匹配视图一定位于对应极线。这称为“极线约束” 。 极限约束意味着，一旦我们知道立体实验设备之间的对极几何，在两幅图像中匹配的二维搜索可以转变为沿着极线的一维搜索。

1.1、本征矩阵(Essential matrix)

本征矩阵用字母E来表示，物理意义是左右相机坐标系相互转换的矩阵,表示几何意义，与单成像仪无关，用来描述左右相机图像平面上对应点在各自相机坐标系之间的关系。

特性：

1）本质矩阵是由对极约束定义的。由于对极约束是等式为0的约束，所以对E乘以任何非零常数后，对极约束依然满足。这一点被称为E在不同尺度下是等价的。 2）根据E=t∧R，可以证明，本质矩阵E的奇异值必定式[σ,σ,0]T。这称为本质矩阵的内在性质。可以理解为：一个3×3的矩阵是本征矩阵的充要条件是对它奇异值分解后，它有两个相等的奇异值，并且第三个奇异值为0。 3）由于平移和旋转各有3个自由度，所以t∧R共有6个自由度。但由于尺度等价性，故E实际上只有5个自由度。

1.2、基础矩阵(Fundamental matrix)

给本征矩阵E增加相机内参矩阵M的相关信息，就能得到描述同一个物理点在左右相机图像平面上对应点在各自像素坐标系下的关系。

1.3、重投影矩阵

重投影矩阵Q实现了世界坐标系和像素坐标系之间的转换。

2、计算（待补充）

假设空间中一点P，其在世界坐标系下的坐标为Pw，左相机到右相机的关系为R,T，其在左右相机坐标系下的坐标可以表示为：

其中

结合以上两个公式，推得：

奇异值分解求解