A stereo matching algorithm for coal mine underground images based on threshold and weight under Census transform
-
摘要:
双目图像立体匹配是实现煤矿井下无人辅助运输车自主避障和视觉侦察的关键技术，但煤矿井下高粉尘、光照条件不稳定等因素会导致视觉传感器采集到的图像产生椒盐噪声，使得立体匹配的误匹配率很高。为此，提出一种基于阈值和权重相结合Census立体匹配算法，减少椒盐噪声对立体匹配影响。具体改进包括：①先对支持窗口内所有像素的灰度值进行阈值处理，去除支持窗口内灰度值极大和极小的像素点,解决异常值对加权融合的影响；②再将中心点对应的4条斜对角像素进行加权融合代替中心点像素，选择中心像素点4条斜对角线上的像素点，步长取1～3，根据对应的步长分别赋予0.7、0.2、0.1的权重，将这12个像素点中有效的像素点分别乘上对应权重，然后除以有效权重之和，得到经过加权处理后的中心像素点值，解决传统算法对Census变换窗口中心点依赖的问题，从而提高匹配精度。试验结果表明：基于阈值和权重Census代价计算全部区域的误匹配率相比传统Census算法降低了5.64%；相比基于均值Census算法降低了1.71%，且在不同噪声下全部区域的误匹配率相比传统Census算法降低了15.93%；相比基于均值Census算法降低了16.62%；而在非遮挡区域，算法的误匹配率相对于传统Census算法降低17.19%，相对于基于均值Census算法降低18.11%。所提出的基于阈值和权重相结合Census立体匹配算法有效的增强了抗噪声的鲁棒性，降低了误匹配率，提高了匹配精度。
Abstract:Binocular image stereo matching is a key technology to realize autonomous obstacle avoidance and visual reconnaissance of unmanned auxiliary transport vehicles in coal mines. However, factors such as high dust and unstable lighting conditions in coal mines can lead to Salt-and-pepper noise in the images collected by the visual sensor, resulting in a high stereo matching error rate. Therefore, a Census stereo matching algorithm based on the combination of threshold and weight is proposed to reduce the impact of Salt-and-pepper noise on stereo matching. The main contributions include: ① threshold processing is carried out on the gray values of all pixels in the support window to remove the pixels with maximum and minimum gray values in the support window and solve the impact of outlier on the weighted fusion; ② the four diagonal pixels corresponding to the center point are weighted and fused to replace the center point pixel. Select pixel points along the four diagonal lines intersecting at the center pixel, with step sizes ranging from 1 to 3. According to the corresponding steps, weights of 0.7, 0.2, and 0.1 are assigned. Multiply the valid pixel points among these 12 points by their respective weights, then divide by the sum of the valid weights. This process yields the reference value of the center pixel point after weighted processing, addressing the issue of traditional algorithms' dependency on the center pixel of the Census transform window. Consequently, this approach enhances matching precision. The experimental results show that the average error rate calculated by the proposed algorithm is reduced by 5.64% compared to traditional Census algorithms, and reduced by 1.71% compared to the mean-based Census algorithm. What's more, the average error rate under different noise levels calculated by the proposed algorithm is reduced by 15.93% compared to the traditional Census algorithm, and reduced by 16.62% compared to the mean-based one. In non-occluded areas, the error matching rate of our algorithm is reduced by 17.19% compared to the traditional Census algorithm and 18.11% compared to the mean-based Census algorithm. The proposed Census stereo matching algorithm, which combines threshold and weight, effectively enhances the robustness against noise, reduces the error rate, and improves matching accuracy.
-
0. 引 言
煤矿井下无人辅助运输车是一类具备自主导航的智能设备，可以显著提高煤矿运输效率、降低劳动强度，减少对矿工的安全风险[1-3]双目摄像仪作为一种环境感知传感器，可以在无人辅助运输车感知系统中起到辅助感知的作用，其能够提供立体视觉信息，获得物体的景深深度。通过获取场景中障碍物和道路的深度信息，无人辅助运输车可以实现安全导航和避障功能，避免与人或其他物体等障碍物的碰撞，确保无人辅助运输车的安全运行。
双目立体匹配是搭建双目摄像仪的关键算法，是计算机视觉的研究热点之一，广泛应用于无人驾驶、虚拟现实、三维空间测量等领域[4-6]。其核心原理在于比较左右两幅图像中对应像素点之间的差异，通过计算它们之间的视差值，获得空间点的深度信息[7]。立体匹配算法可以归为2类：全局立体匹配算法和局部立体匹配算法。全局立体匹配算法通过对整个图像的像素点进行联合优化，以最小化全局能量函数来获得视差图，从而达到较高的深度测量精度。经典的全局立体匹配算法主要有图割法[8]、动态规划法[9]、置信传播法[10]等。基于图割法的立体匹配算法通过寻找最小割来得到最优解，要求能量函数具有正则性，限制了应用范围[11]。基于动态规划法的立体匹配算法通过定义递归关系和动态规划策略来寻找全局最优解。基于置信传播法的立体匹配算法通过迭代传递消息和更新节点的置信度，寻求最小化能量函数的解。相对于全局立体匹配算法，局部立体匹配算法具有更低的计算复杂度和更高的运行效率，主要依据局部窗口的信息来进行像素点的匹配。常用的局部立体匹配算法包括灰度差绝对值(AD)[12]、灰度平方差(SAD)[13]、归一化互相关(NCC)[14]以及Census变换[15]等。
在煤矿井下环境中，匹配代价易受到煤尘、光照不稳定以及视觉传感器长时间曝光的影响[16−17]，从而导致图像采集时产生椒盐噪声[18]，这会增加立体匹配的误匹配率，破坏视差的连续性，降低双目景深感知的稳定性和鲁棒性。对煤矿井下无人辅助运输车感知系统而言，降低误匹配率非常重要。FAN等[19]对存在椒盐噪声的情况下，使用基于像素灰度值和基于Census变换这2类匹配代价计算方法进行比较，发现采用像素值这类方法受椒盐噪声影响较大。相反，基于Census变换方法对椒盐噪声有更强的适应性。这个发现对于煤矿井下无人车进行立体匹配时，挑选适当的匹配代价计算方法方面具有显著影响。然而，传统的Census方法存在一些问题，如其对于变换窗口中心像素点的高度依赖，从而容易受到噪声的干扰[20]。对于这个问题，MEI等[21]将灰度差绝对值和Census变换结合，在代价计算时，将AD的代价值和Census的代价值归一化相加，不但计算了3个颜色通道强度值差的绝对值，并且进行Census变换，该方法对椒盐噪声具有一定的鲁棒性，但在椒盐噪声较为严重时，仍然会存在异常值，导致错误的视差估计。还有学者对Census算法进行了进一步的优化和改进。祝世平等[22]采用基于均值Census变换，在计算匹配代价时，取窗口内所有点平均值代替中心点值。该方法减少了对中心参考点的过度依赖，然而，对窗口内其他像素点依赖性较高，在椒盐噪声的情况下，异常值会对均值计算产生较大影响，导致误匹配率增加。
根据上述研究现状，提出了基于阈值和权重Census变换的立体匹配算法。首先，通过阈值处理技术来减少椒盐噪声对窗口内像素的影响。通过设定合适的阈值，将异常值与有效像素分离，可以显著减弱椒盐噪声对后续加权融合的干扰，增强匹配结果的可靠性。其次，为了解决传统算法中对Census变换窗口中心点的过度依赖问题，引入了权重策略，将较大的权重分配给可靠的像素点。即，随着距中心像素点的距离越远权重越低，可以有效地减少椒盐噪声对中心像素的影响，降低误匹配率。
1. 基于阈值和权重Census变换的立体匹配算法
文中算法主要分为4个步骤。首先，在匹配代价计算阶段，将阈值设定和权重参数引入到Census变换中；其次，在代价聚合阶段，采用十字交叉域策略进行代价聚合；再次，在视差计算与优化阶段，采用赢家通吃(Winner Take All，WTA)算法计算初始视差[23]；最后，通过左右一致性检测[24]、视差填充、中值滤波等优化初始视差，得到最终视差图[25−26]。算法原理如图1所示。
1.1 匹配代价计算
1.1.1 基于均值Census变换
基于均值Census变换核心思想是在图像上选择一个固定大小的矩形窗口，然后对整个图像进行遍历。在每个窗口内，首先计算除中心像素点外其他像素点灰度值的平均值，作为一个参考值。然后，逐个比较窗口内每个像素点的灰度值与这个参考值的大小关系。如果某个像素点的灰度值大于参考值，则用1表示；反之，用0表示。通过这个过程，每个窗口内的像素点被转换成了一个由0和1组成的二进制序列。具体表达式为
$$ {T_{{\text{Census }}}}(p) = \mathop \otimes \limits_{q \in {N_p}} C[I(\overline p ),I(q)] $$ (1) 式中，$ {T_{{\text{Census }}}}(p) $为中心像素$ p $经窗口变换生成的比特串；$ {N_p} $为像素$ p $的邻域；$ I(\overline p ) $为经过均值处理中心像素点$ p $的灰度值；$ I(q) $为邻域内像素$q$的灰度值；$ \otimes $表示按位连接符，其判定函数$C\left[ \cdot \right]$表达式为，其均值处理$ I(\overline p ) $表达式为：
$$ C\left[ {I\left( {\overline p } \right),I\left( q \right)} \right] = \left\{ {\begin{array}{*{20}{c}} {1,\;\;\;I\left( {\overline p } \right) < I\left( q \right)} \\ {0,\;\;\;I\left( {\overline p } \right) > I\left( q \right)} \end{array}} \right. $$ (2) $$ I\left( {\overline p } \right) = \frac{1}{n}\sum\limits_{{{i}} = 1}^n {I\left( {{x_i}} \right)} {{ , i}} \ne \frac{n}{2} + \frac{1}{2} $$ (3) 式中，$n$为奇数，表示窗口内像素点的个数；$ I\left( {{x_i}} \right) $为第$i$个像素点的灰度值。
基于均值Census变换存在以下缺点：①其原理是对窗口内除中心点外的所有像素求均值以代替中心点像素，这易导致当窗口内其他点的像素出现误差时影响到均值结果，进而影响最终的匹配代价结果。②均值策略未考虑窗口内其他像素点与中心像素点之间距离远近的问题，而距离中心像素点越近的点对中心像素点的影响越大，所以亟需根据距离的远近赋予不同的权重。③均值策略需要对窗口内所有像素点求取均值，且每个像素点对应的窗口均需求取一次均值，大幅增加程序运行时间。
1.1.2 阈值和权重相结合Census变换
与基于均值Census不同的是，采用基于阈值和权重相结合Census变换思想，可以避免均值中对所有像素点依赖以及忽略权重的问题。首先，椒盐噪声通常在图像的灰度图上表现为极端的像素值，即0和255，而这两种像素点在正常灰度图像中较少出现，因此在确定Census变换窗口大小后，对窗口内的像素进行阈值处理，通过设定阈值1和254，遍历窗口内所有像素，去除窗口内灰度值为0或者255的像素点，降低椒盐噪声对算法性能的影响。其次，在矩形窗口内剩余像素点中，选择中心像素点四条斜对角线上的像素点，步长取1~3，根据不同的步长分别取相应的权重，具体公式如下：
$$ I\left( a \right) = \left\{ \begin{gathered} 0.7I\left( a \right),0 < \left| {x - h} \right| < 2\& 0 < \left| {y - w} \right| < 2 \\ 0.2I\left( a \right){\text{,}}1 < \left| {x - h} \right| < 3\& 1 < \left| {y - w} \right| < 3 \\ 0.1I\left( a \right),2 < \left| {x - h} \right| < 4\& 2 < \left| {y - w} \right| < 4 \\ \end{gathered} \right. $$ (4) 式中，$ I\left( a \right) $为斜对角线上像素点的灰度值；$x,y$为窗口中心像素点坐标；$ h,w $为斜对角线上像素点坐标。中心点像素的灰度值为：
$$ \begin{gathered} I\left( {{p_1}} \right) = [0.7 \times I(x \pm 1,j \pm 1) + 0.2 \times I(x \pm 2,j \pm 2) \\ {\text{ }}\quad\qquad + 0.1 \times I(x \pm 3,j \pm 3)]/4 \\ \end{gathered} $$ (5) 式中，$ I\left( {{p_1}} \right) $为经加权后的中心点灰度值；$ I(x \pm i,j \pm j) $为斜对角线上的灰度值。
将加权后的中心点灰度值与窗口内其他像素点的灰度值进行比较，得到二进制串，然后将左右图像对应像素的二进制串进行异或运算，统计1的个数，得到汉明距离，从而得到匹配代价。
简而言之，改进的Census变换算法采用阈值和权重的概念。首先，对窗口内像素点进行阈值处理；其次，根据窗口内中心像素与周围像素之间距离的差异赋予不同的权重。通过这种方式可以降低噪声干扰，降低计算复杂度。相比之下，基于均值Census变换存在一些局限性。从阈值的角度来看，基于均值Census变换未对噪声进行特殊处理，而是直接使用所有像素点的值进行均值计算。这可能导致在复杂噪声环境下，均值结果受到噪声的影响而不够准确；从权重角度考虑，基于均值Census变换以相同的权重对所有像素进行处理。这对于某些纹理较为复杂的区域无法有效捕捉其特征。通过引入权重，可以更好地反映不同像素在纹理描述中的重要性，提高了算法对于纹理复杂区域的适应能力。综上所述，阈值和权重的相结合在Census变换中发挥着重要的作用，能够减少对噪声的敏感性，降低计算复杂度。
1.2 代价聚合
代价聚合参考文献[15]中的支持区域构造和聚合策略。其中，在构建十字形时，所有十字上的像素的颜色值都要与像素$ p $的颜色值接近。为了限制十字形的长度，采用相应的构造规则。十字臂以像素$ p $为中心向左右及上下延伸，直到遇到颜色与该像素差别较大的像素时停止延伸。此外，十字臂的长度也受到限制，不能无限制地延伸。颜色和长度是限制十字形臂长的两个因素。
通过垂直十字形建模像素的支持区域，利用颜色和长度的限制来控制十字臂的延伸。这种方法可以在后续的成本聚合中提供更准确的支持区域信息。所以其公式为：
$$ {A_{\mathrm{c}}}\left( {p,q} \right) < {\gamma _1}{\text{ }}{\mathrm{and}}{\text{ }}{A_{\mathrm{c}}}\left( {q,q + \left( {1,0} \right)} \right) < {\gamma _1} $$ (6) $$ {A_{\mathrm{s}}}\left( {p,q} \right) < {L_1} $$ (7) $$ {A_{\mathrm{c}}}\left( {p,q} \right) < {\gamma _2}{\text{ }} {\mathrm{if}} {\text{ }}{L_2} < {A_{\mathrm{s}}}\left( {p,q} \right) < {L_1} $$ (8) 其中，$ {A_{\mathrm{c}}}\left( {p,q} \right) $为$ p $和$ q $的颜色差异；$ {\gamma _1} $和$ {\gamma _2} $为设定的阈值，$ {\gamma _2} < {\gamma _1} $。颜色差异的定义为$ {A_{\mathrm{c}}}\left( {p,q} \right) = {\max _{i = R,G,B}}\left| {{I_i}\left( p \right) - {I_i}\left( q \right)} \right| $，即3个通道的差值最大值。$ {A_{\mathrm{s}}}\left( {p,q} \right) $是$ p $和$ q $的空间长度，$ {L_1} $和$ {L_2} $是设定的阈值，$ {L_2} < {L_1} $，空间长度的定义是$ {A_{\mathrm{s}}}\left( {p,q} \right) = \left| {p - q} \right| $。
式(6)含义为像素$ p $和$ q $的颜色差异要小于阈值$ {\gamma _1} $，而且像素$ q $和$ q + \left( {1,0} \right) $的差异小于阈值$ {\gamma _1} $，可以确保十字臂的延伸不会穿过边缘像素，只在颜色和位置接近的情况下才会进行延伸。式(7)含义为像素$ p $和$ q $的长度差异要小于阈值$ {L_1} $，可以控制十字臂的长度，确保它们不会无限制地延伸。式(8)含义为在当长度在$ {L_2} $~$ {L_1} $之间的时候，设定一个更严格的阈值$ {\gamma _2} $，从而保证只有在颜色接近时候，臂长才能延伸到$ {L_1} $。
在像素$ p $区域构建完成后，对其进行了4次迭代的处理。在第1次和第3次迭代中，首先将水平臂上的像素进行相加，并将结果存储为临时值。然后，将竖直臂上的临时值相加，得到聚合代价值。最后，将聚合代价值除以区域的总像素数，得到最终的聚合代价值。而在第2次和第4次迭代中，先进行竖直方向的处理，再进行水平方向的处理。这样的处理顺序有效地减少了视差非连续区域的匹配错误。
1.3 视差计算和优化
采用WTA策略选出代价聚合最小的视差值。每个像素最优视差获取公式为：
$$ {d}_{{\mathrm{p}}}=\mathrm{arg}\mathrm{min}{\varphi }_{{\mathrm{p}}}\left(d\right)\text{，}\text{}\text{ }\text{}\text{}\text{}\text{}\text{}\text{}\text{}\text{}\text{}\text{}\text{}\text{}\text{}\text{}\text{}\text{}\text{}{d}_{\mathrm{min}}\leqslant d\leqslant {d}_{\mathrm{max}} $$ (9) 式中，$ {d_{\mathrm{p}}} $为最小匹配代价对应的视差；$ {\varphi _{\mathrm{p}}}\left( d \right) $为搜索视差为$ d $时的匹配代价值。
在完成视差计算后所得到的视差图可能会存在一些误匹配点，这些点可能出现在遮挡区域或深度不连续的区域。为了获得更精确的视差信息，需要对这些误匹配点进行筛选和排除，这个过程称为视差优化。通过左右一致性检测、视差填充和中值滤波等方法进行视差优化。通过比较左右两幅图中对应点视差值来检测异常点；对错误匹配点选择周围灰度值最接近的点进行填充；采用3×3的滑动窗口对视差图进行中值滤波平滑处理，来剔除视差图中的一些孤立的离群外点，得到最终的视差图。
1.4 视差结果评价方法
视差图的误匹配百分比是评价视差图质量的有效指标，表示在视差图中误匹配点所占的比例。将视差阈值设为1 pix，表示生成视差图和真实视差图中对应点像素的差值超过1 pix时，则认为是误匹配点。计算公式如下：
$$ V = \frac{1}{N}\left( {\sum\limits_{\left( {x,y} \right)} {\left| {{D_{\mathrm{c}}}\left( {x,y} \right) - {D_{\mathrm{t}}}\left( {x,y} \right)} \right|} > \beta = 1} \right)$$ (10) 视差图的均方根误差是视差结果的另一项评价指标，表示所得视差和标准视差具体数值差异。原理为计算差异的平方均值并对其进行开方运算得出均方根误差。计算公式如下：
$$ S = {\left( {\frac{1}{N}\sum\limits_{\left( {x,y} \right)} {{{\left| {{D_{\mathrm{c}}}\left( {x,y} \right) - {D_{\mathrm{t}}}\left( {x,y} \right)} \right|}^2}} } \right)^{\textstyle\frac{1}{2}}}$$ (11) 式(10)和式(11)中，视差图像素点总数为$ N $；$ {D_c}\left( {x,y} \right) $为在像素点$ \left( {x,y} \right) $处的视差值；$ {D_t}\left( {x,y} \right) $为标准视差图在像素点$ \left( {x,y} \right) $处的视差值；$ \beta $为阈值，取值为1。
2. 试验结果分析
为验证本文所提算法的实际效果，利用Python语言对所提算法进行编程实现，硬件平台中央处理器(CPU)为Intel(R) Core(TM) i7-10750H，主频为2.60 GHz。试验采用Middlebury网站中的标准数据集，该数据集是评估双目立体匹配算法的常用数据集，均采集于真实世界环境，且每组图像提供了精确的Ground Truth数据，能够准确地评估各立体匹配算法的性能。采用4组图像Cones、Teddy、Dolls和Aloe进行测试，这4幅场景包含了曲面、纹理和物体间遮挡等多种几何和层次结构，对于煤矿井下环境中使用双目采集图像并进行处理具有参考意义，且以上场景的光照条件不同，可以比较性地验证算法在不同光照条件下的深度感知能力。计算以上4组图像的全部区域的误匹配率、非遮挡区域的误匹配率以及全部区域的均方根误差，通过比较3类数据评估算法的性能差异。其中，全部区域的误匹配率表示：在生成的视差图中，算法错误地将一个非匹配的点匹配为匹配点的比例；非遮挡区域的误匹配率表示：图像中没有被遮挡的部分，算法错误地将一个非匹配的点匹配为匹配点的比例；全部区域的均方根误差表示：在整幅图像中生成点视差值和标准视差值差异的平均误差。其中，误匹配率和均方根误差均以像素为单位，其值越小则表示估计的视差图和标准视差图之间的吻合度越高，即深度估计的质量越高。
2.1 权重设置讨论
文中其中一项主要工作提出了基于阈值和权重Census变换算法，其中式(4)中对3个步长的权重分别设置为0.7、0.2和0.1。试验设置多组不同权重分别对Middlebury网站的4幅图像原图计算全部区域误匹配率，通过的对比试验讨论权重最佳取值方案。表1为不同权重在全部区域的误匹配率结果。
表 1 不同权重在全部区域的误匹配率Table 1. Mismatch rate of different weights in all regions权重 Cones Teddy Dolls Aloe 0.7∶0.2∶0.1 0.260 7 0.306 0 0.324 4 0.269 0 0.6∶0.3∶0.1 0.262 1 0.306 2 0.324 5 0.270 4 0.6∶0.2∶0.2 0.264 2 0.308 2 0.324 7 0.273 3 0.5∶0.3∶0.2 0.265 6 0.308 6 0.326 0 0.273 4 通过表1数据对比不同权重发现，给距离中心点越近的像素点分配较大的权重，所得到的误匹配率越小，其中0.7∶0.2∶0.1权重所对应4幅图像全部区域的误匹配率均值分别比0.6∶0.3∶0.1、0.6∶0.2∶0.2和0.5∶0.3∶0.2减少了0.000 8、0.002 6、
0.0034 。因此，在0.7∶0.2∶0.1时，4组图像的误匹配率最小，这表明该权重是几组中最优解。2.2 匹配代价评估
为验证基于阈值和权重Census算法在匹配代价计算阶段的优势，分别对传统Census、均值Census和本文Census算法进行性能评估试验。3种算法得到的匹配代价图和标准视差图进行对比，同时对图像全部区域的误匹配率和非遮挡区域的误匹配率进行分析。试验结果如图2所示，其中差异较大的部分用红圈标注。
对比图2c—图2e和图2b中的真实视差图可以看出，提出的Census算法比传统Census算法和基于均值Census更优越。传统Census算法和基于均值Census算法生成的匹配代价图噪点较多，而本文基于阈值和权重Census算法能够有效减少匹配代价图的噪点。
3种算法全部区域的误差率见表2、非遮挡区域的误匹配率见表3。
表 2 3种算法全部区域的误匹配率Table 2. Mismatch rate of all regions of three algorithms图例 Cones Teddy Dolls Aloe 传统Census 0.327 0 0.393 0 0.360 9 0.304 8 均值Census 0.270 5 0.308 0 0.379 8 0.270 2 本文Census 0.260 7 0.306 0 0.324 4 0.269 0 表 3 3种算法非遮挡区域的误匹配率Table 3. Mismatch rates of three algorithms in non-occluded areas图例 Cones Teddy Dolls Aloe 传统Census 0.245 7 0.331 8 0.292 4 0.264 5 均值Census 0.181 9 0.238 9 0.320 4 0.278 0 本文Census 0.171 0 0.236 8 0.251 4 0.227 2 表2和表3的数据更准确表明在匹配代价计算阶段，在全部区域的误匹配率中，本文Census算法相比传统Census算法误匹配率平均降低
0.0564 ，相比均值Census算法误匹配率平均降低0.0171 。表明在整幅图像中本文Census算法相比较传统Census算法视差图中错误匹配的比重平均降低了5.64%，本文Census算法相比较传统Census算法视差图中错误匹配的比重平均降低了1.71%。在非遮挡区域的误匹配率中，本文Census算法相比传统Census算法误匹配率平均降低0.062，相比均值Census算法误匹配率平均降低
0.0332 。表明在整幅图像非遮挡区域中本文Census算法相比较传统Census算法视差图中错误匹配的比重平均降低了6.2%，本文Census算法相比较均值Census算法视差图中错误匹配的比重平均降低了3.32%。因此，基于阈值和权重Census算法能够提高匹配精度，相比传统Census算法和基于均值Census算法，其全部区域误匹配率和非遮挡区域的误匹配率更低。2.3 抗噪分析
井下采集的图像存在较多噪声，算法抗噪性的强弱直接影响双目摄像仪的感知准确性。为验证本文算法的抗噪性，将文中算法与传统Census算法、基于均值Census算法进行对比试验，分别计算在不同噪声下的匹配代价，排除代价聚合和视差优化的干扰。
对Middlebury 数据集中4幅测试图片分别加入噪声密度为0.01、0.05、0.10、0.15、0.20的椒盐噪声，在不同椒盐噪声条件下，对4幅图像分别采用上述3种算法生成了相应的匹配代价图。将所得匹配代价图与标准视差图进行对比分析，在不同椒盐噪声条件下，对每种算法在4幅图像的整个区域和非遮挡区域进行计算，得出平均误匹配率，以及整个区域的均方根误差，计算结果见表4、表5、表6，分别记录4种算法在椒盐噪声下全部区域的误匹配率和非遮挡区域的误匹配率以及全部区域的均方根误差。图3和图4可以更清晰地呈现3种算法的性能差异。
表 4 3种算法在椒盐噪声下全部区域的误匹配率Table 4. Mismatch rate of all regions of three algorithms under salt-and-pepper noise噪声密度 0.01 0.05 0.10 0.15 0.20 传统Census 0.367 6 0.446 8 0.529 4 0.599 4 0.663 2 均值Census 0.372 1 0.475 3 0.542 0 0.601 6 0.649 6 本文Census 0.296 0 0.322 3 0.356 9 0.394 9 0.439 9 表 5 3种算法在椒盐噪声下非遮挡区域的误匹配率Table 5. Mismatch rate of three algorithms in non-occluded areas under salt-and-pepper noise噪声密度 0.01 0.05 0.10 0.15 0.20 传统Census 0.306 8 0.393 3 0.482 7 0.558 5 0.628 4 均值Census 0.314 6 0.428 0 0.500 2 0.558 8 0.614 3 本文Census 0.228 2 0.257 7 0.296 2 0.339 8 0.388 5 表 6 3种算法在椒盐噪声下全部区域的均方根误差Table 6. Root mean square error of three algorithms in all regions under spicy salt noise噪声密度 0 0.01 0.05 0.10 0.15 0.20 传统Census 15.743 16.125 17.523 19.034 20.322 21.556 均值Census 14.616 15.654 17.222 18.281 19.259 19.987 本文Census 14.567 14.617 14.991 15.570 16.171 16.892 ![]()
图 3 3种算法在椒盐噪声下全部区域误匹配率柱状图Figure 3. Histogram of mismatch rate of all regions of three algorithms under salt-and-pepper noise![]()
图 4 3种算法在椒盐噪声下非遮挡区域误匹配率柱状图Figure 4. Histogram of mismatch rate of three algorithms in non-occluded area under salt-and-pepper noise根据表4、表5的数据和图3、图4可以得出，在椒盐噪声的全部区域的误匹配率中，本文Census算法相比传统Census算法误匹配率平均降低
0.1593 ，相比均值Census算法误匹配率平均降低0.16612 。表明在整幅图像中本文Census算法相比较传统Census算法视差图中错误匹配的比重平均降低了15.93%，本文Census算法相比较传统Census算法视差图中错误匹配的比重平均降低了16.612%。在非遮挡区域的误匹配率中，本文Census算法相比传统Census算法误匹配率平均降低
0.17186 ，相比均值Census算法误匹配率平均降低0.1811 。表明在整幅图像非遮挡区域中本文Census算法相比较传统Census算法视差图中错误匹配的比重平均降低了17.186%，本文Census算法相比较均值Census算法视差图中错误匹配的比重平均降低了18.11%。由表6可以得出，在椒盐噪声的全部区域的均方根误差中，文中Census算法相比传统Census算法均方根误差平均降低2.916，相比均值Census算法均方根误差平均降低2.035。表明在整幅图像中文中Census算法相比较传统Census算法视差图中视差值的平均误差减少2.916，文中Census算法相比较传统Census算法视差图中视差值的平均误差减少2.035。
整体来看，由于传统Census变换很大程度上依赖中心参考点，对椒盐噪声的耐受性低。而基于均值Census变换具有一定的噪声适应性，但仍受到影响。基于阈值和权重Census变换可以过滤错误值，并根据步长设置不同权重，通过加权代替中心点灰度值，其误匹配率和均方根误差均低于传统算法和均值算法，所得视差图和标准视差图之间的吻合度最高，生成视差图更准确，减少了椒盐噪声的影响，确保了获取的深度信息更加准确和可靠。
为了直观看出本文算法与对比算法针对椒盐噪声的抗噪性，图5代表性地展示了在原图中添加10%的椒盐噪声时，上述3种算法分别计算4幅图在10%椒盐噪声下的匹配代价图、本算法最终视差图以及本算法误匹配像素图，从上到下分别为4幅图像的原始左图、真实视差图、10%椒盐噪声的左图、10%椒盐噪声下传统Census匹配代价图、10%椒盐噪声下基于均值Census匹配代价图、10%椒盐噪声下本算法匹配代价图、10%椒盐噪声下本算法最终视差图，以及10%椒盐噪声下本算法误匹配像素图进行展示。
通过试验结果可以看出，基于阈值和权重Census算法可以有效的减少椒盐噪声带来的干扰，匹配代价图的结果均优于其他两种传统算法。与不加椒盐噪声相比，本文算法在椒盐噪声的情况下相比其他两种算法能够更有效的降低误匹配率，通过上述2个柱状图可以发现，本算法的误匹配率一直是最低的，而均值算法的误匹配率前期最高，随着椒盐噪声的增多，传统算法的误匹配率大于均值算法的误匹配率。这是因为随之椒盐噪声的增多，图像中杂点变得更加密集，这会对传统算法的中心点像素值以及均值算法的平均值造成影响，使二者匹配代价计算出现更大的误差。同时，当椒盐噪声小于15%时，椒盐噪声对均值算法的平均值造成的影响更大，但随着椒盐噪声的增加，将会对传统算法的中心点像素值造成更大的影响。通过试验数据可以得出，椒盐噪声越大，本算法和其余两个算法的误匹配率差值越大，即随着椒盐噪声增加，本算法的优异效果更能体现出来。
2.4 煤矿井下试验
为了进一步比较算法性能，使用2个单目摄像仪搭建双目摄像仪云台，并安装在煤矿井下单轨吊车上获取左图和右图。双目摄像仪云台如图6所示。
在立体匹配前，先对双目相机进行标定，将标定结果用于图像立体校正。采用黑白棋盘格为标定板，每个棋盘格大小为41 mm，通过标定获取相机内外参数。具体参数如下：
$$ {\boldsymbol{L}} = \left[ {\begin{array}{*{20}{c}} {772.656}&{0.155}&{620.662} \\ 0&{772.342}&{341.991} \\ 0&0&1 \end{array}} \right] $$ (12) $$ {\boldsymbol{R}} = \left[ {\begin{array}{*{20}{c}} {772.538}&{ - 1.962}&{681.450} \\ 0&{768.274}&{318.149} \\ 0&0&1 \end{array}} \right] $$ (13) $$ {\boldsymbol{Q}} = \left[ {\begin{array}{*{20}{c}} {0.993}&{0.089}&{ - 0.076} \\ { - 0.092}&{0.995}&{ - 0.036} \\ {0.073}&{0.042}&{0.996} \end{array}} \right] $$ (14) $$ {\boldsymbol{T}} = \left[ {\begin{array}{*{20}{c}} { - 309.467}&{11.985}&{ - 22.362} \end{array}} \right] $$ (15) 其中，${\boldsymbol{L}}$为左内参矩阵；${\boldsymbol{R}}$为右内参矩阵；${\boldsymbol{Q}}$为旋转矩阵；${\boldsymbol{T}}$为平移矩阵。
通过内参矩阵${\boldsymbol{L}}$、${\boldsymbol{R}}$内部数据可以得出，左右相机焦距基本相同；旋转矩阵${\boldsymbol{Q}}$主对角线数值接近于1，其他数值接近0，说明左右相机成像平面几乎保持一致；平移矩阵${\boldsymbol{T}}$的第1个元素为309，表明左右相机距离为309 mm。使用Matlab标定的重投影误差如图7所示，平均误差为0.22（图中虚线所示），表明标定结果具有足够的精度和可靠性。使用内外参数对左右图像进行立体校正，如图8所示。
采用上述3种算法对经过校正后的煤矿井下左右图像进行立体匹配，得到对应视差图。如图9所示，图9a—图9d依次是利用双目摄像仪云台得到的左图、传统Census视差图、基于均值Census视差图、本文算法视差图。
通过对比3种算法最终生成的视差图，可以发现本文算法相比于传统Census算法和基于均值Census算法，在人物形象的匹配上具有更高的精度和完整性。具体来说，文中算法所生成的视差图中杂点和黑色区域较少，而且人物形象更加清晰和完整。这一结果表明本算法在煤矿井下的立体匹配任务中具有较低的误匹配率，并且在提供更准确的深度信息方面表现出色。
在煤矿井下的立体匹配任务中，视差图的准确性非常重要，可以用来计算物体之间的距离，以及进行三维重建和障碍物检测等应用。因此，本文算法所表现出的优越性意味着该方法在煤矿井下的应用具有更高的可靠性和准确性，可以为相关研究和工作带来更好的效果。
综上所述，通过对比3种算法最终生成的实物视差图，可以得出结论：文中算法在煤矿井下的立体匹配性能优于传统Census算法和基于均值Census算法，其误匹配点更少，精度更高，能够提供更可靠和准确的深度信息。这一结果对于煤矿井下的相关研究和实际工作具有积极的影响。
3. 结 语
针对煤矿井下采集图像存在较多噪声干扰导致双目立体匹配精度差问题，提出了一种基于阈值和权重Census算法。该方法引入了阈值和权重2个关键因素来改进传统的立体匹配算法，以应对图像受到噪声干扰导致匹配精度较低的挑战。在经过对添加椒盐噪声和不加椒盐噪声的数据库以及煤矿井下实体试验的实验评估后，得到了如下结论：文中算法在受到椒盐噪声干扰的情况下表现良好，并且在煤矿环境中具有较高的匹配准确性。与传统Census算法相比，在不同噪声下，文中算法在全部区域的误匹配率降低15.93%，相对于基于均值Census算法降低16.62%。而在非遮挡区域，文中算法的误匹配率相对于传统Census算法降低17.19%，相对于基于均值Census算法降低18.11%。这些试验证明了文中方法在抑制噪声干扰方面的有效性。
综上所述，基于阈值和权重Census算法在煤矿井下的双目立体匹配问题上取得了良好效果。通过设置矩形窗口内的阈值和步长权重，文中方法能够显著提高匹配准确性，减少椒盐噪声干扰带来的影响。这项研究可以为煤矿井下立体视觉技术的发展提供有益参考。椒盐噪声是井下图像采集中的主要噪声之一，但仍存在其他种类的噪声，针对煤矿井下其他噪声进行处理提高双目立体匹配算法准确性将是进一步研究内容。
-
![]()
图 3 3种算法在椒盐噪声下全部区域误匹配率柱状图
Figure 3. Histogram of mismatch rate of all regions of three algorithms under salt-and-pepper noise
![]()
图 4 3种算法在椒盐噪声下非遮挡区域误匹配率柱状图
Figure 4. Histogram of mismatch rate of three algorithms in non-occluded area under salt-and-pepper noise
表 1 不同权重在全部区域的误匹配率
Table 1 Mismatch rate of different weights in all regions
权重 Cones Teddy Dolls Aloe 0.7∶0.2∶0.1 0.260 7 0.306 0 0.324 4 0.269 0 0.6∶0.3∶0.1 0.262 1 0.306 2 0.324 5 0.270 4 0.6∶0.2∶0.2 0.264 2 0.308 2 0.324 7 0.273 3 0.5∶0.3∶0.2 0.265 6 0.308 6 0.326 0 0.273 4 
下载: 导出CSV
表 2 3种算法全部区域的误匹配率
Table 2 Mismatch rate of all regions of three algorithms
图例 Cones Teddy Dolls Aloe 传统Census 0.327 0 0.393 0 0.360 9 0.304 8 均值Census 0.270 5 0.308 0 0.379 8 0.270 2 本文Census 0.260 7 0.306 0 0.324 4 0.269 0
下载: 导出CSV
表 3 3种算法非遮挡区域的误匹配率
Table 3 Mismatch rates of three algorithms in non-occluded areas
图例 Cones Teddy Dolls Aloe 传统Census 0.245 7 0.331 8 0.292 4 0.264 5 均值Census 0.181 9 0.238 9 0.320 4 0.278 0 本文Census 0.171 0 0.236 8 0.251 4 0.227 2
下载: 导出CSV
表 4 3种算法在椒盐噪声下全部区域的误匹配率
Table 4 Mismatch rate of all regions of three algorithms under salt-and-pepper noise
噪声密度 0.01 0.05 0.10 0.15 0.20 传统Census 0.367 6 0.446 8 0.529 4 0.599 4 0.663 2 均值Census 0.372 1 0.475 3 0.542 0 0.601 6 0.649 6 本文Census 0.296 0 0.322 3 0.356 9 0.394 9 0.439 9
下载: 导出CSV
表 5 3种算法在椒盐噪声下非遮挡区域的误匹配率
Table 5 Mismatch rate of three algorithms in non-occluded areas under salt-and-pepper noise
噪声密度 0.01 0.05 0.10 0.15 0.20 传统Census 0.306 8 0.393 3 0.482 7 0.558 5 0.628 4 均值Census 0.314 6 0.428 0 0.500 2 0.558 8 0.614 3 本文Census 0.228 2 0.257 7 0.296 2 0.339 8 0.388 5
下载: 导出CSV
表 6 3种算法在椒盐噪声下全部区域的均方根误差
Table 6 Root mean square error of three algorithms in all regions under spicy salt noise
噪声密度 0 0.01 0.05 0.10 0.15 0.20 传统Census 15.743 16.125 17.523 19.034 20.322 21.556 均值Census 14.616 15.654 17.222 18.281 19.259 19.987 本文Census 14.567 14.617 14.991 15.570 16.171 16.892
下载: 导出CSV
-
[1] 李首滨. 煤炭智能化无人开采的现状与展望[J]. 中国煤炭,2019,45(4):5−12. LI Shoubin. Present situation and prospect on intelligent unmanned mining at work face[J]. China Coal,2019,45(4):5−12.
[2] 陈龙,王晓,杨健健,等. 平行矿山:从数字孪生到矿山智能[J]. 自动化学报,2021,47(7):1633−1645. CHEN Long,WANG Xiao,YANG Jianjian,et al. Parallel mining operating systems:from digital twins to mining intelligence[J]. Acta Automatica Sinica,2021,47(7):1633−1645.
[3] 周李兵. 煤矿井下无轨胶轮车无人驾驶系统研究[J]. 工矿自动化,2022,48(6):36−48. ZHOU Libing. Research on unmanned driving system of underground trackless rubber-tyred vehicle in coal mine[J]. Journal of Mine Automation,2022,48(6):36−48.
[4] 龙霄潇,程新景,朱昊,等. 三维视觉前沿进展[J]. 中国图象图形学报,2021,26(6):1389−1428. LONG Xiaoxiao,CHENG Xinjing,ZHU Hao,et al. Recent progress in 3D vision[J]. Journal of Image and Graphics,2021,26(6):1389−1428.
[5] 郑太雄,黄帅,李永福,等. 基于视觉的三维重建关键技术研究综述[J]. 自动化学报,2020,46(4):631−652. ZHENG Taixiong,HUANG Shuai,LI Yongfu,et al. Key techniques for vision based 3D reconstruction:a review[J]. Acta Automatica Sinica,2020,46(4):631−652.
[6] 徐磊,宋慧慧,刘青山. 多层次融合注意力网络的双目图像超分辨率重建[J]. 中国图象图形学报,2023,28(4):1079−1090. doi: 10.11834/jig.211119 XU Lei,SONG Huihui,LIU Qingshan. Super-resolution reconstruction of binocular image based on multi-level fusion attention network[J]. Journal of Image and Graphics,2023,28(4):1079−1090. doi: 10.11834/jig.211119
[7] 连丽容,罗文婷,秦勇,等. 双目机器视觉及RetinaNet模型的路侧行人感知定位[J]. 中国图象图形学报,2021,26(12):2941−2952. LIAN Lirong,LUO Wenting,QIN Yong,et al. Roadside pedestrian detection and location based on binocular machine vision and RetinaNet[J]. Journal of Image and Graphics,2021,26(12):2941−2952.
[8] LI L C,ZHANG S L,YU X,et al. PMSC:PatchMatch-based superpixel cut for accurate stereo matching[J]. IEEE Transactions on Circuits and Systems for Video Technology,2018,28(3):679−692. doi: 10.1109/TCSVT.2016.2628782
[9] ZHU S P,XU H,YAN L N. A stereo matching and depth map acquisition algorithm based on deep learning and improved winner takes all-dynamic programming[J]. IEEE Access,2019,7:74625−74639. doi: 10.1109/ACCESS.2019.2921395
[10] ZENG K,WANG Y N,WANG W,et al. Deep confidence propagation stereo network[J]. IEEE Transactions on Intelligent Transportation Systems,2023,24(8):8097−8108. doi: 10.1109/TITS.2023.3264705
[11] 仲伟波,姚旭洋,冯友兵,等. 双目区域视差快速计算及测距算法[J]. 中国图象图形学报,2019,24(9):1537−1545. ZHONG Weibo,YAO Xuyang,FENG Youbing,et al. Rapid calculation and ranging algorithm based on binocular region parallax[J]. Journal of Image and Graphics,2019,24(9):1537−1545.
[12] 黄超,赵华治. 根据灰度值信息自适应窗口的半全局匹配[J]. 中国图象图形学报,2019,24(8):1381−1390. HUANG Chao,ZHAO Huazhi. Semi-global stereo matching with adaptive window based on grayscale value[J]. Journal of Image and Graphics,2019,24(8):1381−1390.
[13] VÁZQUEZ-DELGADO H D,PÉREZ-PATRICIO M,AGUILAR-GONZÁLEZ A,et al. Real-time multi-window stereo matching algorithm with fuzzy logic[J]. IET Computer Vision,2021,15(3):208−223. doi: 10.1049/cvi2.12031
[14] WAN X,LIU J G,LI S Y,et al. Phase correlation decomposition:the impact of illumination variation for robust subpixel remotely sensed image matching[J]. IEEE Transactions on Geoscience and Remote Sensing,2019,57(9):6710−6725. doi: 10.1109/TGRS.2019.2907933
[15] JI S,KIM S W,LIM D,et al. Quaternary census transform based on the human visual system for stereo matching[J]. IEEE Access,1926,8:116501−116514.
[16] 智宁,毛善君,李梅. 基于照度调整的矿井非均匀照度视频图像增强算法[J]. 煤炭学报,2017,42(8):2190−2197. ZHI Ning,MAO Shanjun,LI Mei. Enhancement algorithm based on illumination adjustment for non-uniform illuminance video images in coal mine[J]. Journal of China Coal Society,2017,42(8):2190−2197.
[17] 范伟强,刘毅. 基于自适应小波变换的煤矿降质图像模糊增强算法[J]. 煤炭学报,2020,45(12):4248−4260. FAN Weiqiang,LIU Yi. Fuzzy enhancement algorithm of coal mine degradation image based on adaptive wavelet transform[J]. Journal of China Coal Society,2020,45(12):4248−4260.
[18] 邓森,徐进轩,梁鹿鸣,等. 自适应深度残差椒盐噪声滤除算法[J]. 计算机辅助设计与图形学学报,2020,32(8):1248−1257. DENG Sen,XU Jinxuan,LIANG Luming,et al. Adaptive salt-and-pepper denoising based on deep residual network[J]. Journal of Computer-Aided Design & Computer Graphics,2020,32(8):1248−1257.
[19] 范海瑞,杨帆,潘旭冉,等. 一种改进Census变换与梯度融合的立体匹配算法[J]. 光学学报,2018,38(2):0215006. doi: 10.3788/AOS201838.0215006 FAN Hairui,YANG Fan,PAN Xuran,et al. Stereo matching algorithm for improved census transform and gradient fusion[J]. Acta Optica Sinica,2018,38(2):0215006. doi: 10.3788/AOS201838.0215006
[20] HIRSCHMULLER H,SCHARSTEIN D. Evaluation of stereo matching costs on images with radiometric differences[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2009,31(9):1582−1599. doi: 10.1109/TPAMI.2008.221
[21] MEI X,SUN X,ZHOU M C,et al. On building an accurate stereo matching system on graphics hardware[C]//2011 IEEE International Conference on Computer Vision Workshops (ICCV Workshops). Barcelona,Spain. IEEE,2011:467−474.
[22] 祝世平,闫利那,李政. 基于改进Census变换和动态规划的立体匹配算法[J]. 光学学报,2016,36(4):0415001. ZHU Shiping,YAN Lina,LI Zheng. Stereo matching algorithm based on improved census transform and dynamic programming[J]. Acta Optica Sinica,2016,36(4):0415001.
[23] TATAR N,AREFI H,HAHN M. High-resolution satellite stereo matching by object-based semiglobal matching and iterative guided edge-preserving filter[J]. IEEE Geoscience and Remote Sensing Letters,2021,18(10):1841−1845. doi: 10.1109/LGRS.2020.3008268
[24] 程德强,李海翔,寇旗旗,等. 融合边缘保持与改进代价聚合的立体匹配算法[J]. 中国图象图形学报,2021,26(2):438−451. CHENG Deqiang,LI Haixiang,KOU Qiqi,et al. Stereo matching algorithm based on edge preservation and improved cost aggregation[J]. Journal of Image and Graphics,2021,26(2):438−451.
[25] SU L,LUO L,DONG K S,et al. Binocular stereo matching algorithm based on multi-feature aggregation[C]//2022 International Conference on Algorithms,Data Mining,and Information Technology (ADMIT). Xi’an,China. IEEE,2022:50−55.
[26] YAN T,ZHANG F,MAO Y M,et al. Depth estimation from a light field image pair with a generative model[J]. IEEE Access,2019,7:12768−12778. doi: 10.1109/ACCESS.2019.2893354
-
期刊类型引用(2)
1. 雷经发，韦子涵，李永玲，赵汝海，张淼. 基于局部信息熵和改进AD-Census变换的自适应立体匹配. 激光与光电子学进展. 2025(02): 205-213 . 
百度学术
2. 王惠，温定筠，陈亚琼，路涛涛. 融合AMF与EGC的10kV不停电作业安全距离检测方法. 宁夏电力. 2024(05): 20-28 . 百度学术
其他类型引用(0)
计量
- 文章访问数: 63
- HTML全文浏览量: 15
- PDF下载量: 27
- 被引次数: 2
