基于双目视觉的动态煤量测量方法

董立红,宋伟思,符立梅

(西安科技大学 计算机科学与技术学院,陕西 西安 710600)

摘 要:煤矿井下带式输送机主运输面煤量测重设施不完善。在复杂的煤矿井下环境中,皮带秤的测重方法对其精度有很高的要求、易受到人为操作,使得测量误差较大,难以获得真实的煤产量数据;激光三维扫描的测重系统价格昂贵,难以普遍使用。根据煤矿井下带式输送机主运输面煤量测量问题存在的不足,针对性地提出一种基于双目视觉的动态不规则物体测重方法。首先,采用双目相机获取煤矿井下带式输送机主运输工作面的左右俯视图,研究适用于煤矿井下图像特点的预处理方法;接着根据双目视觉的原理采用改进的半全局块匹配算法(Semi-Global Block Matching,SGBM)计算得到密集视差图并对视差图进行空洞填充以消除误匹配点;再对填充后的的视差图采用改进的分水岭分割算法将视差图中的原煤目标分离出来;然后在采用基于三角测量的方法恢复各点的深度信息后计算其对应点的三维信息;在三维信息的基础上提出了一种新的动态不规则体积测量方法计算带式输送机表面的原煤体积;最后,应用煤量计算公式完成煤量测量。用双目相机获取真实煤矿图像进行试验,证明所提方案的有效性。研究表明:该系统所需的硬件设备为一个质量轻、体积小的双目摄像机,能实时采集到目标图像和距离;真实重量和测量重量误差低于10%,为煤矿井下煤量测量提出了一种有效的方案,能够满足实际煤矿井下煤产量的估计需求。

关键词:煤矿图像;带式输送机;双目视觉;煤体积估计;分水岭图像分割

0 引 言

我国是世界上最大的煤矿生产和消费大国,煤矿是国民经济发展中不可或缺的重要能源[1]。随着信息化水平不断提高,数字矿山[2]的概念被提出,数字矿山是信息技术在矿山产业中的应用。核心思想是:利用科学的预测方法、有效的数学模型、先进的图像处理技术实现矿业资源、矿山生产和经营运作过程的数字化和可视化。煤产量是衡量煤矿企业经济效益的一项重要指标,但我国煤矿智能化发展处于初级阶段,技术设备滞后于企业需求、智能化建设技术标准与规范缺失、高端人才匮乏[3],亟需通过不断进行理论、技术与装备创新,推动我国煤矿工业智能化快速发展。煤矿智能化中的煤矿数字化指以煤矿科学技术、信息科学、人工智能和计算科学等为理论基础,建立煤矿各环节的数学模型、力学模型或信息模型等实现煤矿数字化管理。因此,基于双目视觉的井下带式输送机表面煤量测重的计算理论与方法的研究将煤矿井下煤产量转化为可度量的数字、数据,符合国家对数字矿山的发展趋势,满足矿业需求。

目前,井下煤量检测方法分为接触式和非接触式检测。接触式检测主要为皮带秤[4],由于煤矿井下应用场景的复杂性,电子皮带秤的使用仍存在不足:① 标定精度高,使用环境决定使用精度;② 人为故意操作会严重影响煤产量计量;③ 少量煤时无法测重。核子秤[5]采用非接触称重,稳定性好,但放射源是国家强制监管物品,办理手续麻烦。激光盘煤仪[6]使用非接触高速激光测量方法采集运输面工作时的三维数据信息数据,进而求出煤体积和重量。曾飞等[7]提出了带式输送机物料瞬时激光测量方法,但价格昂贵,难以普遍使用。

针对以上问题,提出了一种新的非接触式测重方法。首先,提出一种新的体积测量方法,再结合密度计算煤量。目前,对于不规则物体体积测量较困难,且物体体积较大,特别是动态的不规则物体体积的测量。例如:煤体积的测量,传统的人工测量方法耗费大量人力、财力和时间。周麒等[8]建立结构光双目测量系统获取物体表面三维点坐标进行体积测量,毛佳红等[9]通过线结构光法和双目视觉原理实现三维重建进行积分式的体积测量,但在测量时需确保激光扫描仪匀速前进,直到所有物体扫描完才能获得物体表面所有点的信息,操作难度大,且成本高。高如新等[10]利用双目视觉和SURF(Speed Up Robust Features)特征匹配算法提取特征点实现体积计算,但所提方法中特征点是稀疏的,使得体积测量误差较大。屈滨等[11]通过双目视觉获取图像信息,经图像拼接拟合煤场三维曲面,进而实现煤体积和质量计算,但图像拼接中由于像素的灰度和梯度特征存在较大差异,像素不匹配,拼接后图像存在明显图像裂缝。因此,基于双目视觉测距原理[12]的煤体积测量方法需进一步研究。由于操作容易、设备轻巧、可以计算出密集的视差图,应用到体积测量,最后结合煤密度计算煤量。试验主要包括图像获取、图像分析、立体匹配、图像分割、深度计算、三维重建。该方案采用真实数据进行试验研究,可以适应于煤矿井下特殊环境测重的需求,保证测量数据的真实性和稳定性。

1 双目视觉模型

左右2个摄像机在水平方向的不同位置组成的双目立体系统[13]。如图1所示,描述的是在理想情况下,即一对经过校正以后在竖直方向没有位移差的双目图像,物体表面上的P点在左右摄像机投影平面上处于同一极线。被拍摄物体表面上的一点P相对于摄像机的距离可以用深度值来表示。

图1 双目立体系统
Fig.1 Binocular stereo system

图1中,T为左右摄像机光轴中心OlOr之间的距离;flfr为左右摄像机的焦距xlxr为点P在左右摄像机投影平面上的横坐标,Z为物体P点到相机光轴中心的距离,d为视差,d=x1-xr

2 主煤流深度值计算

首先用双目相机获取真实场景下主运面的双目俯视视频,提取每一帧图像并对图像进行预处理;然后采用opencv中的半全局块匹配算法(SGBM)对处理过的图像进行立体匹配计算出对应的视差图并对视差图进行空洞填充;再用改进的分水岭分割算法将目标(原煤)提取出来,根据视差信息计算深度信息,根据相机标定的内外参数建立像素坐标系和世界坐标系之间的关系计算各点的三维信息;在三维信息基础上提出一种新的体积测量方法;最后,根据煤密度计算出煤质量。本文提出的煤量测量试验方案流程如图2所示。

图2 试验方案流程
Fig.2 Experimental scheme flow

2.1 双目图像获取

用双目相机获取煤矿井下主运输面的俯视视频,相机垂直于主皮带表面,尽可能获得较全面的皮带运输表面的左右俯视图,对所采集视频提取每一帧图像。

2.2 图像预处理

井下图像在采集和传输中受电磁干扰,噪声较大。除光源照射区域外,其余区域亮度和对比度都比较低,称为非均匀照度图像[14](Non-Uniform Illumination Image)。针对煤矿井下图像特性,选用合适的图像预处理算法,算法过程如下:

1)采用中值滤波的算法除去图像噪声,消除孤立的噪点。

2)对图像进行增强,直方图均衡化算法[15],Retinex算法[16]、广义反锐化掩膜算法[17],均可用于非均匀照度图像的增强,但会产生过增强现象。因此首先采用对数函数和指数函数可以增强低强度和中强度,函数分别如式(1)和式(2)所示:

(1)

I2=1-exp(-X)

(2)

式中:X为输入图像;I1为对数缩放函数后的图像;*为乘法算子;I2为经过指数函数处理后的图像。

3)使用自适应对数图像处理(LIP)方法将指数函数和对数函数得到的图像组合在一起,以获得保持两个图像特征的图像;自适应对数函数如式3所示:

(3)

式中:λ为控制增强过程的标量;I3为经LIP处理后的图像。

4)使用改进的s曲线函数提高图像的整体亮度,增强效果更好。改进的s曲线函数为:

I4=erf(λ*arctan(exp(I3))-0.5*I3)

(4)

式中,I4为经s曲线函数处理后的图像;erf为误差函数。

预处理后的结果如图3所示,其中图3a、图3b分别为真实煤矿井下双目左、右图像,图3c、图3d分别为为改进前左、右图像增强结果,图3e、图3f分别为本文图像增强的结果。可以看出本文图像增强算法可以避免图像过增强。

图3 图像增强
Fig.3 Image enhancement

2.3 视差计算

通过立体匹配就可以计算出左右图像的密集视差图,视差指左右双目图像中,2个匹配块中心像素的水平距离。采用opencv库中改进的半全局匹配算法(SGBM)计算图像的视差图。SGBM算法主要分为4个过程:预处理、代价计算、动态规划和和后处理。预处理主要采用水平sobel算子获得梯度信息;代价计算由预处理后的图像通过采样的方法得到梯度代价和原图像通过采样的方法得到SAD代价组成;半全局算法通过多方向一维路径的约束建立一个全局的马尔科夫方程,在各个方向上按照动态规划的思想进行能量求和,再将各个方向的匹配代价相加得到总的匹配代价;后处理包括性一性检测、亚像素插值、左右一致性检测,根据图像调整4个过程中的参数,以确保得到最优视差图。采用SGBM算法得到的视差图存在很多空洞信息,即误匹配点。为了增强视差的连续性,需要对视差图进行空洞填充。对视差图进行一次中值滤波,将较小的空洞用邻域窗口内的所有像素点灰度值的中值进行填充。不仅去除视差图中孤立的噪点,而且保证图像不会过度平滑。由于原煤表面视差值变换较缓可以采用最近邻插值的方法将剩余的较大邻域的空洞填充,结果如图4所示,改进前视差空洞较多,不能得到准确的视差值,本文视差图可以表示出每一点的视差值,目标区域的视差值更为精确。

图4 计算视差图
Fig.4 Calculated parallax

2.4 图像分割

经典的分割算法如:分水岭分割[18]、阈值分割[19]、小波变换[20]、边缘检测[21],分水岭分割算法模拟水的淹没过程分割速度快、精度高成为图像分割的热点。文中采用模拟浸水过程实现图像分割。

2.4.1 传统的分水岭算法

模拟浸水原理为:将图像中所有像素的灰度值对应于地形中的海拔高度,包括盆地(局部灰度极小点)、山脊(图像边缘)以及盆地和山脊之间的山坡。在这个地形各个“盆地”最低处穿孔,同时将整个地形垂直放入湖中,水面逐步上升。直到淹没整个“地形”,使得不同“汇水盆地”的水可能会汇集,因此需要修建堤坝阻止不同“汇水盆地”进行汇集,则该堤坝称为“分水岭”。这样“堤坝”将各个“盆地 (目标 )”隔挡 ,完成图像分割。分水岭表示的是输入图像极大值点。因此,为得到图像的边缘信息,通常把梯度图像作为输入图像。

2.4.2 改进的分水岭分割算法

传统的分水岭分割仍存在以下缺点:① 对噪声极敏感,易造成分割轮廓偏移;② 受噪声、量化误差影响,易产生过度分割。针对以上问题,对分水岭算法进行改进,用双边滤波预处理和形态学梯度重建的标记分水岭图像分割方法。分割过程如下:首先对原始图像进行双边滤波预处理;然后计算形态学梯度,接着采用形态学开闭重建运算对梯度图像进行重建;最后,对重建的梯度图像进行基于标记的分水岭分割。分割过程如图5所示。

图5 改进分水岭算法
Fig.5 Improved watershed algorithm

算法步骤描述如下:

1)用双边滤波对图像进行预处理,消除噪声的干扰。

2)计算形态学梯度:与传统的梯度计算不同的的是,形态学梯度[22]能增强图像中极值对比度,还能保持图像中相对平滑的区域。梯度图像g(x,y)定义为:

(5)

式中:f(x,y)为原始图像;b(x,y)为圆盘状结构元素;⊕和Θ分别为灰度形态学膨胀和腐蚀运算。

3)形态学开闭重建运算:对于形态学梯度图像,噪声和细节依然存在。为此,采用形态学开闭重建运算对梯度图像进行重建,和传统的开(闭)运算不同的是:传统的开(闭)运算是先腐蚀后膨胀,形态学开(闭)重建运算在开(闭)运算的基础上增加重建运算。细密纹理同噪声一起被开闭运算剔除,而物体显著轮廓却在重建过程中得以恢复。形态学开重建运算建立在测地膨胀的基础上, 对于梯度图像g(x,y)(简称g)和参考图像r(x,y),其形态学测地膨胀定义为:

(6)

式中:B为圆盘状结构元素。当迭代次数达到预定值或时,迭代结束。

基于测地膨胀的定义,形态学开重建运算定义为:

(7)

式中:°为形态学开运算;为形态学测地膨胀收敛时的结果。

形态学闭重建运算建立在测地腐蚀的基础上,类似地,测地腐蚀和测地闭重建运算分别定义为:

(j=1,2,…)

(8)

(9)

形态学混合开闭重建运算定义为先开后闭得二次重建,即

(10)

形态学混合开闭重建运算减少因细节和噪声干扰造成的分水线位置偏移造成的分水岭过分割现象。

4)基于重建梯度图像标记约束的分水岭分割就是对经过形态学重建的梯度图像设置一阈值,取梯度值小于阈值的点为标记点。然后通过强制最小值技术[23]将标记点作为区域极小值,进行分水岭分割,以消除局部极小值过多造成的分水岭过分割现象。即

(11)

式中:为阈值。

分别采用传统和改进的分水岭算法对视差图进行分割,结果如图6所示。可以看出:改进的分水岭算法抑制了严重的过分割现象,产生较好的分割结果。图6b中间位置白色线条内即为目标区域。

图6 分割结果
Fig.6 Segmentation result graph

2.5 深度信息计算

根据分水岭算法的分割结果,将原煤目标区域的视差值保存下来,根据视差和深度之间的关系计算物体表面的深度信息Z。由三角测量原理可知,视差d和深度Z的关系为

(12)

式中:B′为相机的基线距离,取120 mm;f为相机焦距,取2.1 mm。

3 主煤流体积测量

3.1 体积计算原理

目标体积测量对象是煤矿井下主运面的原煤,原煤俯视图求出的深度信息可以表示原煤表面点的深度信息。原煤深度图中的点均匀分布,可以用三重积分来求解,用公式表达为:

(13)

式中:V为原煤体积;Δs为每个像素点对应的小立方体的面积;hi为每个像素点对应的小立方体到皮带表面的距离;N为目标区域像素点的个数。

一般地,把原煤表面点当作离散的像素采样点,每个物点距离主输送带表面的高度为采样点的值,这些采样点的平均值就是目标区域的平均高度值,那么原煤体积就可以近似用原煤平均高度和原煤底面积的乘积来表示。由于这种近似估计的方法估算的结果存在误差大的缺点,本文提出一种新的体积估算方法,步骤如下:

1)对目标区域内每个像素点基于视差值进行分类,统计出不同视差值下像素点的个数ni,并计算出每个视差值下像素点占整幅图像素点E的比值pi为:

(14)

统计不同视差值下的像素数量,将可取到的视差值分为M类:统计直方图如图7所示。

图7 不同视差值的像素数量统计直方图
Fig.7 Statistical histogram of the number of pixels with different parallax values

2)同一视差值下对应的像素点具有相同的高度,那么原煤体积就可以用不同视差值下像素点占目标区域的像素点的比值pi、带宽w、当前图像帧下的皮带长度b、不同视差值下的像素点对应的小立方体到皮带表面的距离li(每一个像素点内的原煤高度)的乘积来表示。即:

(15)

式中:M为视差值的种类数量。

3.2 原煤高度计算

由于深度图像中储存的像素值为物点到摄像头的距离,所以原煤高度为相机到主皮带表面的距离与原煤区域深度值之差。在图像采集过程中,测得相机到主输送带表面的距离已知记为m,即原煤的高度li为:

li=m-zi

(16)

式中:zi为不同视差值对应的深度值。

3.3 当前图像的主输送带长度计算

由于原煤在输送带上运输,设输送带前端点A的空间三维坐标为(X1,Y1,Z1),与左相机成像平面交点为(u1,v1),设输送带后端点B的空间三维坐标为(X2,Y2,Z2),与左相机成像平面交点为(u2,v2),通过深度计算,可以得到点A和点BZ轴坐标Z1Z2。通过标定好的相机内外参数,通过采用重投影映射的的方法实现像素坐标与世界坐标之间的转换,X方向和Y方向的坐标表示为:

(17)

式中:分别为内参矩阵值;(u0,v0)为左相机与图像平面的交点Ol在像素坐标系下的坐标;(u,v)为像素坐标系中的坐标。

计算得到AB两点X方向和Y方向上的坐标信息(X1,Y1)和(X2,Y2) 就再可以得到物体得三维坐标信息,可以计算当前图像下输送的长度b。即:

b=|Y2-Y1|

(18)

则采样时间t可以表示为:

(19)

式中:v3为主输送带传输速度。

3.4 体积计算

研究的是基于双目视频的动态煤体积测量方案。试验采用离散的体积计算方法,为了避免重复计算问题,跳帧的方法来提取图像,双目相机帧率为30 fps/s,可以计算出当前图像下的主输送带运输的时间t秒内图像帧数f为:

f=30t

(20)

最后将跳帧提取的图像所得体积累加求和,计算得到某段时间内煤的体积。设输送带宽度为w,一段时间T内,带式输送机输送的煤体积采用式(21)计算得到。

(21)

式中:k为第k帧图像;Pk,i为第k帧图像第i类视差值的概率;zk,i为第k帧图像第i类视差值对应的物体的高度;i为第i类视差。

4 算法验证和结果分析

试验操作系统为 windows10,CPU 为core i7-8700k,用Matlab编程完成整个试验。

根据煤密度ρ和原煤体积V,可以根据式(22)计算煤质量。

m=ρV

(22)

试验中采集陕北曹家滩煤矿122109首个综采放顶煤工作面原煤2020-05-28T14:31:00—2020-05-28T15:02:18的双目视频,原煤一般粒度≤300 mm,毛煤中有300~400 mm的大块,比例为15%~20%,当前图像下输送带的长度b=0.83 m,原煤的平均高度h=0.46 m,堆煤密度为ρ=0.9 t/m3v3=4.5 m/s,w=2 m。

表1为不同时间内算法改进前后原煤体积计算结果。改进的分水岭分割算法能更准确的将原煤区域分割出来,减少了过分割现象,使得分割效果更好;改进前的体积计算方法采用原煤的近似平均高度计算得到原煤体积,提出的体积计算方法通过计算原煤每一点对应的高度,使得计算结果更准确。

表1 原煤体积测量结果
Table 1 Volume measurement results of raw coal

方法原煤体积/m31 min5 min16 min改进前133.82643.551 544.69改进后129.14620.171 523.65

不同时间下人工(磅秤)、改进前和本文测量结果见表2,数据分别为不同时间的主运输表面的双目俯视视频,时间分别为1、5、16 min的结果显示误差均低于10%,可以满足矿井需求。

表2 原煤质量测量结果及误差分析
Table 2 Weight measurement results of raw coal and error analysis

方法原煤质量/t误差/%1 min5 min16 min1 min5 min16 min人工测量1075401 282———改进前120.44579.201 390.2212.57.28.4本文改进后116.23558.151 371.298.63.36.9

5 结 论

1)图像预处理方法避免了图像过增强现象的产生;采用中值滤波和最近邻插值法分别填充视差图中较小和较大的空洞,可以增强视差图的连续性,得到更为精确的视差值。

2)改进的分水岭算法抑制了过分割现象,使分割结果更为准确。

3)体积计算方法通过计算原煤每一点对应的高度,使得煤量计算误差低于10%。所用硬件设施简单,可以实时获取双目视频,采用一种新的体积计算方法实现煤矿产量数字化,符合煤矿智能化发展的要求。

参考文献(References):

[1] 林柏泉,常建华,翟 成.我国煤矿安全现状及应当采取的对策分析[J].中国安全科学报,2006,16(5):42-46.

LIN Baiquan,CHANG Jianhua,ZHAI Cheng.Current situation of coal mine safety in China and analysis of countermeasures to be taken[J].China Security Science Journal,2006,16(5):42-46.

[2] 毕 林,王晋淼.数字矿山建设目标、任务与方法[J].金属矿山,2019(6):148-156.

BI Lin,WANG Jinmiao.Construction target,task and method of digital mine[J].Metal Mine,2019(6):148-156.

[3] 王国法,任怀伟,庞义辉,等. 煤矿智能化(初级阶段)技术体系研究与工程进展[J]. 煤炭科学技术, 2020, 48(7): 1-27.

WANG Guofa,REN Huaiwei,PANG Yihui,et al. Research and engineering progress of intelligent coal mine technical system in early stages[J]. Coal Science and Technology, 2020, 48(7):1-27.

[4] 陈 睿,杨建红,房怀英,等.光学皮带秤测量方法及实验对比[J].华侨大学学报(自然科学版),2019,40(1):14-19.

CHEN Rui,YANG Jianhong,PANG Huaiying,et al. Comparative Study on Measuring Method and Experiment of Optical Belt Weigher[J]. Journal of Huaqiao University(Natural Science Edition),2019,40(1):14-19.

[5] 张 佐.核子秤与阵列式电子秤在通钢焦炭计量中优缺点分析[J].经济技术协作信息,2019(26):94.

ZHANG Zuo.Analysis of advantages and disadvantages of nuclear scale and array electronic scale in coke metering of Tonggang[J].Information on Economic and Technical Cooperation,2019(26):94.

[6] 顾 伟,褚建新,甘世红.煤炭码头输煤量的动态测量与误差分析[J].仪器仪表学报,2005,26(S1):589-590.

GU Wei,CHU Jianxin,GAN Shihong.Dynamic measurement and error analysis of coal handling capacity of coal terminal[J].Journal of instrumentation,2005,26(S1):589-590.

[7] 曾 飞,吴 青,初秀民,等.带式输送机物料瞬时流量激光测量方法[J].湖南大学学报(自然科学版), 2015,42(2):40-47.

ZENG Fei,WU Qing,CHU Xiumin,et al.Laser measurement method of material instantaneous flow of belt conveyer[J].Journal of Hunan University(Natural Science Edition)2015,42(2):40-47.

[8] 周 麒,杨永明,王振洲.基于双目立体视觉的结构光测量技术[J].计算机工程,2018,44(7):244-249,258.

ZHOU Qi,YANG Yongming,WANG Zhenzhou. Structured light measurement technique based on binocular stereo vision[J].Computer Engineering,2018,44(7):244-249,258.

[9] 毛佳红,娄小平,李伟仙,等.基于线结构光的双目三维体积测量系统[J].光学技术,2016,42(1):10-15.

MAO Jiahong,LOU Xiaoping,LI Weixian,et al. Binocular 3D volume measurement system based on line-structured light[J].Optical technology,2016,42(1):10-15.

[10] 高如新,王俊孟.基于双目立体视觉的煤体积测量[J].计算机系统应用,2014,23(5):126-133.

GAO Ruxin,WANG Junmeng.Volume measurement of coal based on binocular stereo vision[J]. Application of Computer System,2014,23(5):126-133.

[11] 屈 滨,赵延军,雷益龙. 基于双目立体视觉的煤场盘煤系统研究[C]//2011年第二届ETP/IITA电信与信息会议记录(TEIN 2011 V2).泰国普吉岛:智能信息技术应用学会,2011:287-290.

QU Bin,ZHAO Yanjun,LEI Yilong.Research on coal handling system in Coal Yard Based on binocular stereo vision[C]//Proceedings of the 2011 Second ETP/IITA Conference on Telecommunication and Information(TEIN 2011 V2).Phuket,Thailand:Intelligent Information Technology Application Association,2011:287-290.

[12] 翟国栋,张文涛,岳中文,等. 基于双目视觉技术的煤矿救援机器人研究进展[J]. 煤炭科学技术, 2020, 48(7): 206-217.

ZHAI Guodong, ZHANG Wentao, YUE Zhongwen, et al. Research progress of coal mine rescue robot based on binocular vision technology[J].Coal Science and Technology, 2020, 48(7): 206-217.

[13] 林学訚,崔锦实,赵清杰,等译.WESLEYES, HAIRONGQ.机器视觉教程[M].北京:机械工业出版社,2005.

LIN Xueyin,CUI Jinshi ZHAO Qingjie,et al. WESLEYES,HAIRONGQ.Machine vision tutorial [M].Beijing:Mechanical Industry Press,2005.

[14] 戴 蓉.基于参数模糊变换的非均匀照度图像增强算法[J].微电子学与计算机,2019,36(12):53-57.

DAI Rong.Non-uniform illumination image enhancement algorithm based on parametric fuzzy transformation[J].Microellectronics and Computer,2019,36(12):53-57.

[15] 李贤阳,阳建中,杨竣辉,等.基于改进的直方图均衡化与边缘保持平滑滤波的红外图像增强算法[J].计算机应用与软件,2019,36(3):96-103.

LI Xianyang,YANG Jianzhong,YANG Junhui,et al. Infrared image enhancement algorithm based on improved histogram equalization and edge reserving smoothing filtering[J].Computer Application and Software,2019,36(3):96-103.

[16] 冯 维,吴贵铭,赵大兴,等.多图像融合Retinex用于弱光图像增强[J].光学精密工程,2020,28(3):736-744.

FENG Wei,WU Guiming,ZHAO Daxing,et al.Multi images fusion Retinex for low light image enhancement[J].Optical Precision Engineering,2020,28(3):736-744.

[17] 范日召.基于反锐化掩膜的红外图像增强算法研究[D].北京:中国科学院大学,2016.

FAN Rizhao.Research on infrared image enhancement algorithm based on unsharp mask[D].Beijing:University of Chinese Academy of Sciences,2016.

[18] 夏梦琴,周 建,王 静,等.基于分水岭分割的图像处理算法研究[J].科技视界,2019,(17):71-72.

XIA Mengqin,ZHOU Jian,WANG Jing,et al. Research on image processing algorithms based on watershed segmentation[J].Science and Technology Vision,2019,(17):71-72.

[19] 袁小翠,黄志开,马永力,等.Otsu阈值分割法特点及其应用分析[J].南昌工程学院学报,2019, 38(1):85-90,97.

YUAN Xiaocui,HUANG Zhikai,MA Yongli,et al. Analysis of characteristics and application of Otsu threshold method [J].Journal of Nanchang Institute of Engineering,2019,38(1):85-90,97.

[20] 刘建新,曾 嫱,徐 可,等.基于形态学和小波变换的烟叶病斑分割[J].图学学报,2018,39(5):933-938.

LIU Jianxin,ZENG Qiang,XU Ke,et al.Tobacco leaf lesion segmentation based on morphology and wavelet transform[J].Journal of Cartology,2018,39(5):933-938.

[21] 董 默,刘博强,李洪义,等.医学图像分割方法研究[J].信息记录材料,2020,21(1):8-10.

DONG Mo,LIU Boqiang,LI Hongyi,et al.Research on Medical Image Segmentation[J].Information Recording Materials,2020,21(1):8-10.

[22] 徐天芝,张贵仓,贾 园.基于形态学梯度的分水岭彩色图像分割[J].计算机工程与应用,2016,52(11):200-203,208.

XU Tianzhi,ZHANG Guicang,JIA Yuan.Watershed color image segmentation based on morphological gradient[J].Computer Engineering and Application,2016,52(11):200-203,208.

[23] 徐少平,曾小霞,姜尹楠,等.基于最小特征值非线性修正的快速噪声水平估计算法[J].计算机科学,2018,45(7):219-225.

XU Shaoping,ZENG Xiaoxia,JIANG Yinan,et al.A fast noise level estimation algorithm based on nonlinear correction of minimum eigenvalue[J]. Computer Science 2018,45(7):219-225.

Dynamic coal quantity measurement method based on binocular vision

DONG Lihong,SONG Weisi,FU Limei

(School of Computer Science and TechnologyXian University of Science and TechnologyXian 710600,China)

Abstract:Coal weight measurement facilities at the main transport face of belt conveyor in coal mine are not perfect. In the complex underground environment of coal mine,weight measurement method of belt weigher has high requirements for its precision and is easy to be operated by human,which makes the measurement error larger and difficult to obtain the real coal production data;weight measurement system of laser three-dimensional scanning is expensive and difficult to be widely used. According to the shortcomings of coal quantity measurement of main transport surface of belt conveyor in coal mine,a dynamic irregular object weight measurement method based on binocular vision is proposed. Firstly,left and right top view of the main transport working face of the belt conveyor in the coal mine is obtained by using the binocular camera,preprocessing method suitable for the image characteristics of the coal mine is studied. Then,according to the principle of binocular vision,an improved semi global block matching (Semi-Global Block Matching,SGBM)algorithm is used to calculate dense parallax map,holes in the parallax map are filled to eliminate the wrong matching points. Finally,parallax map after filling is collected the improved watershed segmentation algorithm is used to separate the raw coal target in the parallax map;depth information of each point is recovered by the method based on triangulation to calculate the three-dimensional information of corresponding points;on the basis of the three-dimensional information,a new dynamic irregular volume measurement method is proposed to calculate the raw coal volume on the surface of belt conveyor;finally,calculation formula of coal quantity is applied Coal forming capacity measurement. In this paper,we

use binocular camera to obtain real coal mine images to test the effectiveness of the proposed scheme. Research shows that:hardware equipment of the system is a binocular camera with light weight and small volume,which can collect the target image and distance in real time;error between the real weight and the measured weight is less than 10%,which provides an effective scheme for coal quantity measurement in coal mine,which can meet the estimation demand of actual coal production in coal mine.

Key words:coal mine image;belt conveyor;binocular vision;coal volume estimation;watershed image segmentation

中图分类号:TD52

文献标志码:A

文章编号:0253-2336(2022)08-0196-08

移动扫码阅读

董立红,宋伟思,符立梅. 基于双目视觉的动态煤量测量方法[J].煤炭科学技术,2022,50(8):196-203.

DONG Lihong,SONG Weisi,FU Limei.Dynamic coal quantity measurement method based on binocular vision[J].Coal Science and Technology,2022,50(8):196-203.

收稿日期:2021-12-28

责任编辑:周子博

DOI:10.13199/j.cnki.cst.2020-0903

基金项目:陕西省自然科学基础研究计划资助项目(2019JLM-11);陕西省教育厅科学研究计划专项资助项目(8146119003);陕西省自然科学基金资助项目(2018JQ5095)

作者简介:董立红(1968—),女,河北丰南人,教授,博士。E-mail:donger@vip.163.com