3D双目立体视觉深度相机介绍——仿生双目

Dorian.liu

3D视觉技术能够获取现实三维场景完整的几何信息，利用带有深度信息的图像来实现对于场景的精准的数字化，从而实现高精度的识别、定位、重建、场景理解等机器视觉的关键功能。常见的3D视觉方案主要包括双目、结构光和ToF三个技术方向，这三种方法各有优劣。双目跟ToF、结构光有区别。在这三种技术路线里，双目是唯一一个纯被动光，靠环境光来成像的，两个摄像头通过三角测量原理测距。ToF是根据飞行时间计算距离，结构光则是根据模式的变化来测量具体信息。

关于双目立体视觉——

双目深度重建利用的是三角测距法计算被测物体到相机的距离。从两个相机观察同一物体，被观测物体在两个相机中拍摄到的图像中的位置会有一定位置差。正如将一只手指放在鼻尖前，左右眼看到的手指位置会有一个错位的效果。这个位置差称为视差，被摄物离相机越近，视差就越大；距离越远，视差就越小。在已知两个相机间距等相对位置关系的情况下，即可通过相似三角形的原理计算出被摄物到相机的距离。

计算一幅图中每个像素的深度值，需要得到每个像素在两幅图中的一一对应关系。这个关系的建立通常是采用块匹配（block matching）的方法。具体的说，在一幅图中，以一个像素为中心，选取一个固定大小的窗口，在另一幅图中寻找最相似的窗口，从而得到该像素在另一幅图中的对应像素。块匹配算法有很高的计算复杂度，其计算量正比于O(NMWHD)，其中N, M为图像的行数和列数，W, H为匹配窗口的宽和高，D为匹配寻找最相似像素的范围。为了达到更好的效果，会采用一些更复杂的改进算法（如Semi-Global Block Matching, SGBM）。立体视觉，核心在于三角测量，对于传感器，可见光传感器是其中之一。左右摄像头可见光传感器可以三维成像，那如果把它们变成红外（主动红外或者被动红外）传感器，最后也能得到两个图像，这两个图像能做立体视觉。

双目本身会具有一些优势。对环境的适应性会更好。太阳光是全光谱的光，依赖主动光一定会有干扰，双目从技术角度来说更能抗干扰。自然选择一定是正确的。双目三角测量原理来看，两个相机之间的baseline确定。在短baseline情况下测远距离本身的技术难度会大很多，从算法本身测远距离的能力建立起来可解决。

双目视觉和激光、毫米波可做传感技术融合。激光、毫米波与传统视觉有信息的重合。融合是1+1＞2，而1+1=2就是组合方案了。双目和毫米波的融合方式，利用技术本身的特点，做数据级的融合。毫米波接进来，让视觉远距离的精度提升，同时视觉又可以让毫米波原来比较稀疏的点密度变高，两个传感器有机结合为融合。

伪界

学习一下