为了有效实现机车钢结构焊接机器人焊缝跟踪，以“棋盘格&激光条纹”混合图像作为基础，展开机车钢结构焊接机器人立体视觉系统标定。CCD摄像机采集图像实际上是在实现一个被测景物在真实三维空间到二维空间的转换，在多数应用场景中，为了简化计算和提高处理效率，将摄像机的成像模型近似为小孔成像模型，如图1所示。

图1  小孔成像模型

Fig.1  Small hole imaging model

Download:  Full-size image | High-res image | Low-res image

在摄像机所建立的坐标系中，设定景物点C的具体坐标为$\left(x_c,y_c,z_c\right)$，而该点在摄像机的成像平面上所对应的成像点$P\mathrm{\text{'}}$坐标则为$\left(x\text{'},y\text{'},z\text{'}\right)$，通过式（1）给出景物点和成像点之间的关系：

式中　$f$ 为焦距。

摄像机内部的参数模型主要用于阐述景物点与图像点之间的对应关系。具体而言，成像平面上的点$\left(x\mathrm{\text{'}},y\mathrm{\text{'}}\right)$通过特定的放大处理机制，被映射为像素平面中的点$\left(u,v\right)$，完成从物理空间到数字空间的转换：

式中　$\left(u_{\mathrm{0}},v_{\mathrm{0}}\right)$为光轴中心线和平面角点的像素坐标；${\alpha }_x$和${\alpha }_y$分别代表成像平面到像素平面转换处理过程中在$x$轴和$y$轴对应的放大系数。

摄像机外参数模型，实际上是对景物在摄像机坐标系中的位置与姿态的详细描述，设定景物点$P$在物理世界坐标系W-x-y-z下的点为（w_x，w_y，w_z），则可以利用式（3）对摄像机外参数模型展开描述：

式中　${\alpha }_z$代表$Z$轴对应的放大系数；$n_x$、$n_y$和$n_z$代表物理世界坐标下各个坐标轴对应的方向向量，采集到焊缝图像如图2所示。

图2  样本图像

Fig.2  Sample image

Download:  Full-size image | High-res image | Low-res image

根据上述采集图像，利用直接标定法展开标定处理^［

（1）对焊缝样本图像进行灰度化处理，将其转换为灰度图像，选择一个阈值，用于区分图像中的前景和背景。大于这个阈值的像素将被设置为白色（或灰度极大值），小于这个阈值的像素将被设置为黑色（或灰度极小值）。根据确定的阈值，将图像中的每个像素与阈值进行比较，并进行二值化处理，得到二值化图像如图3所示。

图3  二值化图像

Fig.3  Binary image

Download:  Full-size image | High-res image | Low-res image

（2）通过Roberts算子对焊缝边缘信息展开识别^［

在数据处理过程中，首先对卷积操作得到的数值取绝对值，将这些绝对值展开累加，最后将其视为梯度的近似值，计算式如下：

式中　$g\left(x,y\right)$代表边缘函数；$h\left(x,y\right)$代表梯度近似值。

通过Roberts算子计算后，可以获取图像中随机一点的梯度值，梯度发生变化的像素点即为图像的边缘点，因为图像中的目标区域只占图像中很少的一小部分，而边缘点分布在目标区域的周围，为了减少计算量，可以通过提取图像中包含目标区域的感兴趣的区域的大致范围，在此区域内对目标进行边界提取。感兴趣的区域设定如下：

首先计算图像中每个像素点在邻域内八个方向的最大边界强度值。邻域内的最大边界强度值计算公式为：

分别以图像中的每个像素点作为邻域窗口的中心点，在图像内逐像素地移动窗口，所有像素点的边界强度最大值构成如下矩阵：

式中　$n_h$表示边界强度矩阵的高度，$n_w$表示边界强度矩阵的宽度。通过为边界强度矩阵S设置合适的阈值，可以将图像中感兴趣的边界强度区域提取出来。矩阵S的阈值T通过如下步骤获得：

计算矩阵S的均值记为$\mu$和标准偏差$\sigma$：

设置阈值T为：

式中　$\gamma$为一个参数。

根据图像中像素点在邻域窗口内各个方向上边界强度的不同，设计了基于LVQ神经网络的边缘检测算法，具体步骤如下：①首先计算图像中每个像素点在邻域窗口内在八个方向上的特征向量和该像素点所在邻域窗口内的最大强度值。②根据式（7）构建整个图像的边界强度矩阵S。③计算矩阵S的均值记为μ和标准偏σ，并设定阈值提取感兴趣的区域。④利用LVQ神经网络对图像的像素点进行划分。⑤细化边界，获得最终的目标边界图像，最终边界点如图4所示。

图4  最终边界点

Fig.4  Final boundary point

Download:  Full-size image | High-res image | Low-res image

（3）采用Hough变换技术精确捕捉焊缝的中心线，进而确定焊缝的精确坐标位置，扫描二值图像以获取结构光条纹该列的上下边缘坐标，再以上下边缘坐标区间内的各像素点的灰度值与位置坐标按灰度重心法公式计算出该列中心点坐标，公式为

式中　$f\left(i,j\right)$为第j列第i行像素灰度值；$k_j$和$w_j$分别表示第j列结构光条纹下、上边缘点行坐标；$y_j$表示第j列中心点行坐标。

采用上述方法对结构光条纹逐列计算得到各列中心点坐标，提取的条纹中心线如图５所示。

图5  焊缝中心线

Fig.5  Weld centerline

Download:  Full-size image | High-res image | Low-res image

通过中心点坐标在小范围内重新构造直线并进行迭代处理准确识别焊缝特左右特征点，具体步骤如下：

步骤1：设焊缝左边界特征点的初步定位为（p_l，y_pl），以（p_l，y_pl）点为中心，取条纹中心线上（p_l，y_pl）点左边第n个点与右边第n个点，以此两点构造直线$l_{\mathrm{1}}$，计算这2n+1个点到直线$l_{\mathrm{1}}$的距离，得到距离曲线记作$d_{l_{\mathrm{1}}}\left(j\right)$。

步骤2：计算曲线$d_{l_{\mathrm{1}}}\left(j\right)$的最小值对应的下标，记为$p_{l_{\mathrm{1}}}$，判断$p_{l_{\mathrm{1}}}$与$p_l$是否相等，若相等，以（p_l，y_pl）点作为焊缝左边界特征点位置，若不相等，则令$p_{l_{\mathrm{1}}}=p_l$。

步骤3：重复步骤1~2，直到$p_l$不发生变化为止，以最终（p_l，y_pl）点作为焊缝左边界特征点位置。同理，设焊缝右边界特征点的初步定位为（p_r，y_pr），按照上述迭代步骤即可计算出右边界特征点位置，最终识别出焊缝位置，如式（12）所示：

式中　$G\left(x,y\right)$代表焊缝识别结果；$E$代表焊缝包含的像素数量总数。

通过1.1小节完成相机标定以及焊缝识别处理后，通过对识别焊缝位置$G\left(x,y\right)$进行实时校正拟合，实现机车钢结构焊接机器人焊缝跟踪。设计一种新颖的基于绝对轨迹的焊缝追踪方案，专门应用于机车钢结构的焊接机器人，旨在提升追踪的精确度和稳定性。详细的操作步骤如下所示：

（1）计算$R_{RB}^{EF}$矩阵。获取机车钢结构焊接机器人焊枪工具的实时位置$U_T$以及姿态，同时利用式（7）计算$R_{RB}^{EF}$矩阵：

式中　$R_{RB}^{EF}$代表机车钢结构焊接机器人工具坐标系到机器人基础坐标系的变换矩阵；$\left(S_X,S_Y,S_Z\right)$代表焊缝点的齐次坐标值；$T_S$代表位移矩阵。

（2）获取传感器数据。与步骤（1）同步，激光传感器用以捕获当前焊缝的特征点数据$P_s$，这样不仅能够实时地获取焊缝的精确形态，而且还能够确保数据采集的及时性和准确性，从而进一步优化整个焊缝跟踪的流程。简而言之，同步触发激光传感器采集当前焊缝特征点，是提升焊接机器人焊缝跟踪精度和效率的关键步骤之一。

（3）更新轨迹堆栈。完成以上操作后，采用式（8）精确计算新采集的焊缝位置数据$P_R$，并将这一数据点添加到焊缝轨迹的堆栈中，以确保轨迹的连续性和完整性：

式中　$R_{EF}^S$代表机车钢结构焊接机器人对应的旋转矩阵。

在成功执行上述步骤后，为了确保绝对焊缝路径的准确性，需防止任何错误的焊缝点被错误地包含在内。这种错误的纳入可能会导致焊缝跟踪过程中的不稳定波动，从而严重影响焊接的整体质量。因此，引入卡尔曼滤波的轨迹去噪思路：

在新采集的焊缝数据点被添加至堆栈之前，优先通过卡尔曼滤波算法对新采集的点展开处理。如果新的采样点$H_R$与最新估算点${\stackrel{⌢}{H}}_R$之间不符合式（9）所规定的条件，则认定其为干扰噪声点，并直接将其剔除，以确保数据的准确性和可靠性：

式中　$f(H_R)$代表点$H_R$和$H_R$之间的欧式距离；$thr$代表设定阈值，设定依据即为焊缝变化曲率和焊接速度。

（4）计算焊缝轨迹中的对应点。为了精准定位当前焊枪$P_T$在焊缝轨迹上的确切对应点$P_T^{\mathrm{\text{'}}}$，利用三次非均匀有理B样条插值对应点方法，具体步骤为：

a. 对确定的9个控制点展开用三次非均匀有理B样条插值处理，将控制向量表示为式（10）的形式：

式中　$D$代表控制向量集合。

b. 通过累计弦长的方式对不同位置点展开参数化处理，同时利用式（11）计算第$k$个控制点的节点数值$r_k$：

c. 为了插值$P_T^{\mathrm{\text{'}}}$，需要计算$P_T^{\mathrm{\text{'}}}$的对应节点值，采用$P_T$代替其最近点，

（5）位置偏差的计算。由于$P_T$和$P_T^{\mathrm{\text{'}}}$两者均位于机车钢结构焊接机器人的基础坐标内，所以可以通过公式（12）展开位置偏差$\tau$计算：

利用三次非均匀有理B样条技术展开数据插值和检索，展开上述操作的主要目的是将未知的偏差值准确地转换到焊枪工具坐标系下，通过这种方法，能够实时修正焊枪的位置，从而有效实现机车钢结构焊接机器人的焊缝跟踪$N\left(x,y\right)$，对应的计算式如下：

就此得到机车钢结构焊接机器人焊缝跟踪结果，完成焊接机器人焊缝跟踪。