利用Coaxlink Quad 3D-LLE自主构建2D-3D混合图像采集系统

Coaxlink Quad 3D-LLE 2D-3D混合图像采集系统，可根据实际需求灵活设置，实现高精度、低成本的高速图像采集和传输。

文/范福永，Euresys中国区销售与支持经理

3D视觉检测市场概况

随着机器视觉的发展，3D视觉检测在多个工业领域得到应用，如PCBA制造过程中的点胶质量、锡膏印刷厚度、表贴器件管脚翘曲的检测；接插件制造中管脚质量和形态的检测；手机显示屏以及外壳表面瑕疵的检测；汽车发动机缸体等精密组件、轮胎缺陷的检测；半导体晶圆平整度、BGA锡球体积和高度的检测等。

3D视觉检测要先进行3D图像采集，然后通过图像处理算法，对3D图像进行处理分析并完成需要的信息输出，才能完成检测目标。图像的采集是处理分析的先决环节，在技术上也相对比较复杂和困难。

目前比较流行的3D图像的采集技术有如下几种：

l 结构光 (Structured light)

l 双目（Stereo）

l 飞行时间 (ToF)

l 激光线扫，即激光三角定位法 (LLE)

其他的3D图像采集技术，比如断层扫描(CT)、线共焦（LCI）、光学相干（OCT）、相移法（Phase shift）等，目前在工业检测中的应用还比较少。

在目前的工业检测中，3D采图技术主要采用一体式3D传感器实现。一体式3D传感器有如下优点：

l 安全牢固的整体封装，便于安装和抵抗外力

l 无需对硬件进行复杂的安装过程设置

l 操作使用简单，可以快速完成硬件平台的搭建

l 输出数据一般都符合通用格式，比如点云或者深度图

视觉系统设计者可以方便地采用它搭建视觉采集平台，快速实现3D图像检测应用。

但是一体式3D传感器也有如下不足之处：

l 特定型号的3D传感器参数（FOV、检测范围、精度等）固定，只能用于特定安装和检测环境

l 有些参数本身是互斥的，比如FOV/检测范围和精度

l 3D传感器无法实现2D和3D图像的同时或者混合采集

l 更适合于流水线安装，难以集成到复杂的系统中

工业检测现场的3D图像采集侧重于现场的易于实现，检测精度范围合适，抗环境干扰，能灵活适应环境的轻微变化，较快的速度，同时成本可控。

表1中给出了不同技术，对于工业检测现场的要求有不同的适应性。

表1：不同技术对于工业检测现场的要求有不同的适应性

工业检测要求	结构光	双目	飞行时间	激光线扫
XY方向精度	较高	高	高	较高
Z方向精度	较高	一般	较低	超高
采集速度	一般	高	较高	较低
灵活性	较低	一般	高	高
易实现性	高	高	较高	较低

从表1中可知，激光线扫具有较高的综合适应性。但基于激光线扫技术的一体式3D传感器，也同样受制于其不足之处，而无法很好地满足工业检测现场的需求。

Euresys的2D-3D混合图像采集系统

为了更好地满足工业检测现场的要求，Euresys开发了基于激光线扫技术的一个开放式的系统解决方案，以满足如下情形：

l 待测物体具有复杂的3D结构，无法安装一体式3D传感器

l 检测范围和检测精度都要求很高

l 需要将3D图像采集系统整合到机器设备的结构中去

l 需要同时采集2D和3D图像

（1）激光线扫3D（LLE）原理

激光线扫3D的原理如图1所示。

图1：激光线扫3D的原理图。

将线激光投射到待测物体的表面，激光线随着待测物体各个地方的高度不同而产生形变，形成一条激光轮廓线。相机放置和激光成一定的夹角，来拍摄形变后产生的轮廓线。当待测物体相对于激光和相机运动时，会持续扫出一系列的激光轮廓线。这些激光线依序组合在一起，便得到了待测物体完整的3D轮廓。

（2）整体方案构成

Euresys基于上述原理，构建了如图2所示的LLE采图系统。

图2：Euresys构建的LLE采图系统。

该LLE采图系统由如下硬件和软件组成：

n 普通黑白面阵相机（需CoaXPress接口）

n 3D线扫激光光源和普通光源

n Coaxlink Quad 3D-LLE采集卡

n Open eVision 3D处理软件库Easy3D

在该系统中，激光轮廓线拟合在Coaxlink Quad 3D-LLE采集卡上直接完成，从而降低了系统的软件开发难度，并可以节省PC资源。采集卡将完整的3D轮廓，即3D图像以深度图的格式输出到系统的PC主机，进行后续的处理和分析。深度图每个像素的灰度值，为相机采集到的高度信息。可以变换为点云等更具直观性的3D数据格式。

同时与Coaxlink Quad 3D-LLE配合使用的是Easy3D软件库。它提供LLE的设置、校准、图像格式转换及后期的处理功能。

图3简单描述了整个系统的功能流程示意图。Easy3DLaserline模块负责对LLE进行参数的设置和校准；Easy3D基础模块将校准模型应用到采集到的深度图，并将深度图转换为点云或ZMAP格式。ZMAP格式的图像包含了投射在某一选定的参考面上的高度信息，便于使用其他的3D图像处理算法或2D算法进行分析和处理。

图3：LLE采图系统的功能流程示意。

（3）Coaxlink Quad 3D-LLE简介

图4：Coaxlink Quad 3D-LLE图像采集卡。

Coaxlink Quad 3D-LLE是一款基于CoaXPress协议的图像采集卡（见图4）。可以在卡上实现激光线扫3D算法，而不占用主机资源。它将相机采集到激光线扫轮廓，通过特定的算法拟合成3D图像，实时输出16位的3D深度图。使用者可以根据应用场景和检测物的材料特性，选择不同的3D拟合算法。

n 最大值法：以激光响应曲线的最大值作为拟合值（见图5）。

图5：最大值法以激光响应曲线的最大值作为拟合值。

n 峰值法：以激光响应曲线的峰值作为拟合值（见图6）。

图6：峰值法以激光响应曲线的峰值作为拟合值。

n 重心法：以激光响应曲线占空面积的重心点对应值，作为拟合值（见图7）。

图7：重心法以激光响应曲线占空面积的重心点对应值，作为拟合值。

该卡提供非常快的拟合和运算能力，表2中给出了不同ROI设定下的图像采集和拟合速度。

表2：不同ROI设定下的图像采集和拟合速度

ROI	处理速度
2048 x 256 或 4096 x 128 图像/ROI	每秒处理 4,700 个轮廓
2048 x 128 图像/ROI	每秒处理 9,500 个轮廓
1024 x 128 图像/ROI	每秒处理 19,000 个轮廓
1024 x 64 图像/ROI	每秒处理 38,000 个轮廓

（4）Easy3D介绍

Easy3D是Euresys 3D图像处理算法库的统称，其中包括Easy3D、EasyLaserline、Easy3DObject、Easy3DMatch等一些列3D图像处理模块，是专门为3D图像处理开发的算法库。可以在Windows/Linux（需要Open eVision2.15.2以上版本）环境下，通过C++/C#/VB等编程语言进行二次开发。同时提供Open eVision 3D Studio界面工具，可方便评估其功能，并查看和对3D图像进行操作。

（5）方案的其他技术特点

I. 双激光

当激光以某一入射角扫描待测物的时候，会产生扫描盲区。盲区意味着该部分的3D图像信息无法采集得到。对应这种问题，Euresys引入了双激光的支持。如图8所示，当两束激光分别从不同方向投射到物体的表面，产生的盲区可以由另外一束激光所覆盖，从而保证了图像的完整。