立体视觉与三维重建

立体视觉系统立体视觉（StereoVision）是从来自两个摄像机的一对图像中获取深度信息的过程，这些摄像机从不同但已知的位置观察同一场景。立体视觉被广泛用于三维导航、三维定位、目标追踪和机器人研究等领域。运动结构恢复（StructurefromMotion）是从来自同一摄像机的一对图像中获取深度和运动信息的过程，这些图像从不同位置查看同一场景。

立体视觉系统-世界坐标系中被测目标表面上任一点P(Xw,Yw,Zw)，在左相机坐标系中像面上的投影点为pL(uL,vL)，在右相机坐标系中像面上的投影点为pR(uR,vR)。用有两个相机的双目视觉系统观察,并且如果能确定像点(uL,vL)和(uR,vR)对应于同一空间特征点P(Xw,Yw,Zw),就可以通过两个像点与相机光心所构成的两直线的交点计算出点P(Xw,Yw,Zw)的确切位置。

立体视觉系统双目视觉系统可基于两个相机所采集的图像中两个同源点（HomologousPoints）之间的距离，由三角几何法重建空间三维信息。同源点是空间某点在不同图像中的成像点，又称为共轭点（ConjugatePoints）。它们在图像中的距离差异称为视差（Disparity）。

立体视觉系统研究双目系统时一般先要明确研究过程所涉及的以下几种类型的坐标系：世界坐标系。预先在环境中选择的基准三维坐标系，用来描述相机和环境中物体的坐标位置。在双目视觉系统中，一般将左相机坐标系定义为世界坐标系。相机坐标系。以相机光心为原点，光轴为Z轴的三维坐标系。在双目系统中，左右两个相机坐标系可通过旋转和平移进行转换。图像坐标系。相机所成图像的二维坐标系，可以用像素数量描述，也可以用物理尺寸描述。对于相机坐标系中的某个三维空间点，可通过三角投影变换计算得到其在图像坐标系中像点的位置。

立体视觉系统若定义左相机坐标系就是世界坐标系，那么世界坐标系中的点Pw(Xw,Yw,Zw)到左相机的图像坐标系中的位置可直接通过三角投影关系计算得到该点在右侧相机图像坐标系中的位置同样可以通过投影变换计算得到

平视双目系统一个理想的简化情况假设两个相机相同并且与X轴对齐，我们能找到点Pw的深度Zw的表达式吗？

只要左相机像面上的任意一点能在右相机像面上找到同源的匹配点，就可以根据视差确定该点的三维坐标。更进一步，只要被测目标像面上的所有点都可在另一相机中找到同源点，就可以确定被测目标的三维坐标平视双目系统

立体视觉系统标定为了能利用立体视觉系统的视差计算三维深度信息，必须首先设法得到立体视觉系统的以下信息：相机的内部参数。包括各相机的焦距、光心以及畸变模型等。相机的外部参数。包括各个相机坐标系与世界坐标系之间的旋转和平移关系。相机间的相对位置关系。包括各个相机坐标系与其他相机坐标系之间的旋转和平移关系，以及多幅图像中同源像点所对应空间点的坐标等。

立体视觉系统标定在实际工程实践当中，将获取上述各种信息的过程称为对立体视觉系统的校准（StereoCalibration）过程。为实现对立体视觉系统的校准，通常会让立体视觉系统的各个相机对同一校准点阵进行图像采集，然后根据点阵信息计算各种参数。

设双目立体视觉系统中左右相机坐标系相对世界坐标系的旋转和平移矩阵分为(RL,tL)和(RR,tR)，则三维世界坐标系中的点Pw(Xw,Yw,Zw)在两个相机坐标系中的坐标PL(XL,YL,ZL)和PR(XR,YR,ZR)可通过坐标旋转和平移得到。用矩阵表示为立体视觉系统标定

一般立体视觉系统自然界中不存在两个相同的照相机，因为在制造过程中会引入两个照相机之间始终存在小的对准误差。在实践中，无法确切知道相机光心的确切位置。在水平轴上对齐两个相机非常困难为了使用立体相机，需要知道每个相机的内在外在参数，即相机之间的相对位姿（旋转，平移）→通过相机校准可以解决这个问题

一般立体视觉系统为了估计Pw的3D位置，可以构建左右摄像机的方程组三角剖分是在给定一组相应的图像位置和已知摄像机位姿的情况下确定点的3D位置的问题。

一般立体视觉系统

目标：识别左右图像中的对应点，它们是同一3D场景点的重投影典型相似性度量：归一化互相关（NCC），平方差总和（SSD），一致性变换一般立体视觉系统

在二维图像上搜索在计算上非常昂贵！可以在一维中进行对应搜索吗？一般立体视觉系统

极线几何理论可用于研究立体视觉系统各个相机图像中，同源像点之间的关系，它不仅在双目立体视觉图像的对应点匹配有着重要作用，而且在三维重建和运动分析中也具有广泛应用。立体视觉系统中的极线几何常涉及以下几个关键的定义：极线几何与立体匹配

向量叉积采用两个向量并返回垂直于两个输入的第三个向量两个平行向量的叉积等于0向量叉积也