机电与智能化

悬臂式掘进机井下精确定位方法及其视觉测量技术

赵建勋1,杨文娟1,2,张旭辉1,2,杜昱阳1,2,张 超1

(1.西安科技大学 机械工程学院,陕西 西安 710054;2.陕西省矿山机电装备智能监测重点实验室,陕西 西安 710054)

摘 要:为解决煤矿井下低照度、高粉尘环境中悬臂式掘进机机身位姿测量问题,提出一种以激光点和激光束为特征的悬臂式掘进机机身位姿视觉测量技术。利用单目视觉测量原理,采用基于门形三线的视觉测量模型,根据激光特性对利用防爆工业相机采集的巷道图像进行处理,通过Hough变换与最小二乘法结合,获取得到2个激光指向仪的光斑和光束的点、线特征,通过空间矩阵变换计算出悬臂式掘进机机身的空间位姿。研究发现Hough变换与最小二乘法结合有效保证了杂光、粉尘和水雾等复杂背景下孤立点的消除,提高了激光点和激光线的检测精度。为验证所提出方法的有效性,分别在实验室悬臂式掘进机测试平台和煤矿井下工业现场进行位姿测量试验,实验室结果表明,结合Hough变换与最小二乘法进行特征提取得到机身位置误差在20 mm以内,姿态误差在0.3°以内,误差满足精度要求且小于使用传统Hough变换进行特征提取得到的位姿;煤矿井下工业试验表明,机身测量误差在40 mm以内,满足巷道掘进精度要求。

关键词:悬臂式掘进机;视觉测量;精确定位;激光特征提取;单目视觉

中图分类号:TD421

文献标志码:A

文章编号:0253-2336(2021)12-0192-10

移动扫码阅读

赵建勋,杨文娟,张旭辉,等.悬臂式掘进机井下精确定位方法及其视觉测量技术[J].煤炭科学技术,2021,49(12):192-201.doi:10.13199/j.cnki.cst.2021.12.024

ZHAO Jianxun,YANG Wenjuan,ZHANG Xuhui,et al.Study on accurate positioning method and its visual measurement technology of cantilever roadheader underground[J].Coal Science and Technology,2021,49(12):192-201.doi:10.13199/j.cnki.cst.2021.12.024

收稿日期:2021-03-21

责任编辑:周子博

基金项目:国家自然科学基金资助项目(51974228);陕西省创新能力支撑计划资助项目(2018TD-032);陕西省重点研发计划资助项目(2018ZDCXL-GY-06-04)

作者简介:赵建勋(1996—),男,内蒙古赤峰人,硕士研究生。E-mail:2547124703@qq.com

通讯作者:张旭辉(1972— ),男,陕西凤翔人,教授,博士生导师,博士。E-mail:zhangxh@xust.edu.cn

Study on accurate positioning method and its visual measurement technology of cantilever roadheader underground

ZHAO Jianxun1,YANG Wenjuan1,2,ZHANG Xuhui1,2,DU Yuyang1,2,ZHANG Chao1

(1.College of Mechanical Engineering,Xian University of Science and Technology,Xian 710054,China;2.Shaanxi Key Laboratoty of Mine Electromechanical Equipment Intelligenct Monitoring,Xian 710054,China)

Abstract:In order to solve posture measurement problem of Boom-type Roadheader under low illumination and high dust underground environment in coal mine,this paper put forward a accurate positioning measurement method using camera which acquire image data included features of laser points and laser beam. Based on monocular vision positioning principle of three line,an explosion-proof industrial camera was used to acquire tunnel images and process according to the feature of laser. Combining the advantage of Hough transform and least squares method,the characteristics of points and beams of two laser alignment which amounted on Boom-type Roadheader was extracted,then body posture was calculated through space matrix transformation space. It is found that the combination of Hough transform and least square method can effectively eliminate the isolated points in the complex background such as stray light,dust and water mist,and improve the detection accuracy of laser point and laser line. In order to verify the effectiveness of the proposed method,the pose measurement experiments were carried out on a laboratory cantilever tunneling machine test platform and a coal mine underground industrial site. Laboratory experiments showed that combining the Hough transform and the least squares method for feature extraction to obtain the fuselage position error within 20 mm,the attitude error is within 0.3°,the error meets the accuracy requirements and is smaller than the pose obtained by using the traditional Hough transform for feature extraction;the industrial test underground in coal mine shows that the measurement error of the fuselage is within 40 mm,which meets the requirement of roadway driving accuracy.

Key words:cantilever roadheader; visual measurement; accurate position; laser feature extraction; monocular vision

0 引 言

随着我国综合机械化采煤的迅速发展,安全高效的自动化、智能化巷道掘进技术成为当前研究热点[1]。掘进机是综掘工作面的主要设备,掘进机的位姿测量是巷道掘进智能化的关键[2]。目前常用的位姿测量技术包括机器惯性导航定位技术、全站仪定位方法以及视觉定位技术等[3]。惯性导航定位技术受环境因素影响小,具有良好自主检测性,但其使用过程中存在累计误差使得定位困难[4-5]。全站仪可准确快速计算出测量目标空间位置信息,但在煤矿井下应用时,由于粉尘以及巷道空间产生的遮挡都会对定位结果产生影响[6]。机器视觉测量技术的测量信息直观、可靠性高,常以红外光及可见光为特征[7],根据特征基准位置与巷道坐标系之间的关系来获取掘进机机身的空间位姿,由于该方法使用受井下粉尘、水雾等环境干扰导致特征提取精度下降,使得测量结果不稳定[8-9]。因此,选取有效特征基准,在杂光、粉尘和水雾等复杂背景下准确提取特征信息是利用视觉测量技术精确测量掘进机机身位姿的关键。

文献[10-11]提出了一种基于激光束特征的悬臂式掘进机机身测量系统,该方法以激光束特征构建悬臂式掘进机位姿测量系统,充分利用激光指向仪方向性好、颜色单纯以及亮度高等优点。如何实现煤矿井下高粉尘、低照度环境中的激光特征提取是解算设备精确位姿的关键。该方法中特征提取涉及激光光斑中心和激光束直线的特征提取。传统的光斑中心检测算法有阈值法、重心法、Hough变化法以及圆拟合法[12-14]。吴泽楷等[15]基于改进圆拟合算法,结合了阈值法和中值法的原理,提高了光斑中心位置的精确度。谢欣欣等[16]在天空背景条件下,利用原子滤光片和减小接收机口径进行抑制天空背景,在通过二值化和灰度质心法确定光斑中心位置。对于激光束的直线特征提取,目前针对直线特征检测常用的技术方法有Hough变换检测直线[17-18]和最小二乘直线拟合[19-20]等。闫怀仁等[21]提出了一种改进的Hough变换的直线提取算法,该方法减少了计算量,提高了直线检测精度。目前对于激光特征提取主要是在背景较好的环境中进行检测,对于井下包含杂光、粉尘和水雾等复杂背景中的激光光斑及激光束直线特征提取方法介绍较少。

基于此,进一步研究以激光点和激光束为特征的悬臂式掘进机机身位姿视觉测量方法,提出结合Hough变换与最小二乘法实现杂光、粉尘和水雾等复杂背景下的激光点和激光线的特征提取,再通过空间矩阵变换解算出掘进机机身位姿信息,实现井下悬臂式掘进机的精确定位。

1 悬臂式掘进机位姿视觉测量模型

1.1 系统构成

悬臂式掘进机位姿视觉测量系统如图1所示,由两激光指向仪、CCD彩色防爆工业相机、防爆计算机和悬臂式掘进机组成。将防爆工业相机和防爆计算机固定在悬臂式掘进机机身上,在掘进机后方沿巷道方向水平固定两激光指向仪,安装时保证两激光指向仪激光束平行。利用工业防爆相机采集激光特征的图像,将采集到的图像通过千兆网GigE接口传输到计算机中,并在计算机中实现图像处理及位姿解算。

图1 悬臂式掘进机位姿视觉测量系统示意

Fig.1 Schematic of posture visual measurement system for boom-type roadheader

图1中坐标系OcXcYcZc为以相机光心为原点建立的工业防爆相机坐标系,利用激光指向仪的两光斑点以及两激光束作为特征,以两激光点的中心点为原点建立激光定向坐标系OdXdYdZd。系统工作时,首先将防爆相机采集到的图像信息传输至计算机中,并在计算机中完成对激光图像的畸变校正、图像处理、特征提取以及机身位姿信息解算。系统流程如图2所示。

图2 悬臂式掘进机机身位姿测量流程

Fig.2 Flow chart of visual measurement system

1.2 掘进机机身位姿解算模型

摄像机成像几何模型为针孔成像模型[22],两激光指向仪平行放置,可以把两激光束以及过两光斑中心点的直线看作围成门形的3条直线,3条直线的位置关系已知,便可将该问题转换为P3L问题,即3线透视问题[23]。图3为基于门形3条直线的悬臂式掘进机机身位姿解算模型。

图3 基于门形3条直线的悬臂式掘进机机身位姿解算模型

Fig.3 Posture calculation model of cantilever type roadheader based on three straight lines

图3中坐标系OcXcYcZc为摄像机坐标系,坐标系为OdXdYdZd激光测量坐标系。图中L1L3是两激光束抽象空间直线,L2则是过两激光光斑P1P2点的空间直线,激光测量坐标系OdXdYdZd以两激光指向仪的光斑P1P2的中心点为原点Od,以直线L2Xd坐标轴,方向指向P2点,Zd坐标轴过Od点平行于L1L3,利用右手定则确定Yd坐标轴的方向。空间中的三条直线L1L2L3共面且成门形,L1L3平行,L2L1L3垂直且相交于两点P1P2l1l3L1L3在图像上的投影,q1q2P1P2在图像上的投影,l2为图像中过q1q2点的直线。此时,根据激光光斑及激光束在图像上的位置可以得到l1l2l3在图像平面的直线方程为aix+biy+ci=0(i=1,2,3)。根据文献[10]所述三线透视问题的闭式解可计算得到相机坐标系OcXcYcZc相对于激光定向坐标系OdXdYdZd之间的坐标变换的惟一解,即旋转矩阵M和平移向量T。再结合工业防爆相机坐标系与掘进机机身坐标系之间的转换关系计算得到掘进机在激光定向坐标系下的位置信息。

2 激光光斑中心定位

激光指向仪的激光为波长在650 nm左右的纯净红色激光,井下作业环境存在杂光、水雾等影响因素,无法使用滤镜滤除杂散光源直接进行激光光斑的特征提取,使得目前常用的光斑中心定位算法无法直接使用。为了在井下工作环境中实现对激光光斑中心定位,针对井下存在的杂光等干扰因素,选用CCD彩色工业防爆相机进行图像采集,对采集到的RGB彩色激光图像进行图像处理并结合高斯曲面拟合确定激光光斑中心。

根据激光指向仪的激光光斑和激光光晕的光强和明度不同,对图像中各光斑和激光光晕进行定位。由于光斑亮度高,其RGB三通道值较大,而激光光晕区域的R值高于BG通道的值,根据图像中像素点的RBG 3通道的值的关系可以在多杂光背景中确定图像中个光斑区域以及激光光晕区域。将得到的光晕区域像素点进行圆拟合得到较精确的激光光晕位置,并将两光晕位置进行标记。利用高斯曲面拟合方法准确获取各区域的光斑中心,结合得到的光晕区域确定激光光斑中心位置。设定RGB 3个通道的阈值分别为R1G1B1,设定通道R减通道G的阈值为a,通道R减通道B的阈值为b,图4为激光光斑中心位置具体流程。

图4 激光光斑中心定位流程

Fig.4 Laser spot center positioning flow chart

激光光斑中心位置确定步骤为:

1)遍历预处理后的图像的像素RGB信息,得到满足(R-G)>a且(R-B)>b的激光光斑边缘区域∑g(ij)以及满足R>R1G>G1B>B1的所有光斑区域∑h(ij)。

2)对激光光斑边缘区域∑g(ij)内各激光光斑边缘区域进行分割,确定两个激光光斑边缘的区域∑g1(ij)和∑g2(ij)。

3)利用最小二乘法分别对区域∑g1(ij)和∑g2(ij)进行圆拟合并确定各圆心坐标O1(ij)和O2(ij)。

4)利用高斯曲面拟合方法确定所有光斑区域∑h(ij)中各光斑的光斑中心位置On(ij),(n=1,2,3,…)。

5)依次计算On(i,j)到O1(i,j)和O2(i,j)的距离,并找到On(i,j)中的点到O1(i,j)和O2(i,j)的最小距离的点Oq1(i,j)及Oq2(i,j),Oq1(i,j)及Oq2(i,j)即两激光光斑中心的坐标;按照激光光斑中心位置确定流程,在杂光背景下激光光斑中心提取效果图如图5所示。

图5 杂光背景下激光光斑中心定位

Fig.5 Laser spot centering in stray light background

3 激光束直线特征提取

3.1 激光束直线特征提取流程

受井下环境影响导致可能得到存在杂光、短小间断激光束直线图像。根据Hough变换的原理可知,Hough变换检测直线时受其他因素干扰严重、对短直线检测困难。直线拟合方法受到由杂光等引起的图像噪声的干扰降低拟合精度。为防止上述问题对激光束直线特征提取造成的干扰,针对井下激光图像进行基于激光束直线的图像处理,获取可进行直线特征提取的图像信息。

激光束直线提取流程如图6所示,对输入的图像进行图像处理,首先把预处理后的图像由RGB空间转换至HSV颜色空间,并在HSV空间中滤除强干扰因素,得到激光束区域的二值图像,再对激光束区域的二值图像进行边缘提取、骨架提取等处理,得到激光束的轮廓信息以及骨架信息。此时可去除大部分杂光即噪声等干扰信息,再结合Hough变换和最小二乘法去除剩余少量噪声信息,准确、稳定地得到直线方程。

图6 激光束直线提取流程

Fig.6 Flow chart of laser line extracting

3.2 激光束图像处理

3.2.1 图像HSV空间颜色特征提取

RGB模型是比较常见的颜色空间模型,但RGB彩色空间之中区分不同颜色近似度困难,HSV是一种,以色调H、饱和度S以及明度V作为颜色参数的直观的颜色模型,根据HSV颜色空间的分量关系区分出含有激光束特征的像素信息。激光指向仪的激光束颜色为红色,根据HSV空间分量HSV对应颜色的关系可取H范围为0~10、S范围为50~250、V范围为20~250,此时允许较亮的红颜色的像素点通过。遍历图中像素点,记录通过的像素点的信息,结合Otsu算法获取激光束的二值图像。此时矿灯等其他颜色杂光均可被滤除,可有效地在杂光背景下获取激光束区域。

为进一步减少背景中的噪声,根据计算得到的激光光斑中心位置对图像中激光目标进行分割,得到含有激光束特征信息的区域图像。计算两激光中心坐标(x1,y1)和(x2,y2)点的中心点的坐标(x′,y′)。在图像坐标中划分出矩形的感兴趣区域,其中4个点坐标分别为(x′-400,y′)、(x′+400,y′)、(x′-400,y′-800)、(x′+400,y′-800)。图7为基于HSV空间的颜色特征提取得到的激光束二值图像与分割后的图像。

图7 基于HSV空间的颜色特征提取

Fig.7 Color feature extraction based on HSV space

3.2.2 图像边缘检测及骨架提取

对得到的激光束二值图像进行边缘检测和骨架特征提取。首先对二值图像进行边缘检测,基于Canny算子对激光束进行边缘检测,使用高斯内核为size=5的高斯平滑滤波器进行降噪。基于形态学对激光束二值图像进行迭代腐蚀实现图像的骨架提取,根据边缘检测得到的图像目标最外层轮廓开始,不断腐蚀目标边界轮廓,直至将图像腐蚀至一条单像素的骨架为止。每次迭代时首先记录获取到的轮廓点信息,然后检测每个轮廓点的8 pix邻域,腐蚀掉含有3或4或5或6或7连通的像素点,直至没有像素点被腐蚀时,便可得到图像的骨架。由于Canny使用了滞后阈值,设置高阈值为100,低阈值为50。如图8所示为对激光束图像进行边缘检测及骨架提取后得到的结果。

图8 激光束边缘检测及骨架信息提取

Fig.8 Edge detection and skeleton extraction of laser beam

如图8所示,图8a为激光束图像的边缘检测结果,图8b中紫色像素点和黄色像素点分别为对左右两激光束进行骨架提取得到的骨架信息。由于图像上还可能会存在部分干扰点,再结合Hough变换与改进最小二乘法根据得到的激光束轮廓信息和骨架信息确定激光束直线方程。

3.3 结合Hough变换与最小二乘法的直线检测

Hough变换是将图像中特征检测问题转换为寻找参数空间峰值的检测方法, 通过建立离散参数空间,设置空间累加计数器,根据图像中像素点的信息不断对特征点进行投票,找到累加计数器中峰值所对应的直线来进行图像中的直线检测。由于直线在参数空间的映射容易受到噪声干扰,在算法投票过程中出现无效累积导致虚检、缺检等问题,导致检测精度下降。为提高直线检测精度,结合Hough变换与最小二乘法进行直线方程的获取。

利用Hough变换对直线进行粗定位,通过去除孤立点,利用最小二乘法拟合更精确的直线方程。为提高对整幅图像Hough变换的速度,对激光束图像轮廓信息进行Hough变换。同时,为了准确获取激光束直线位置,设置累加计数器阈值T,当累加数大于T时,提取直线特征。主要步骤如下:

1)获取直线信息。对激光束图像进行边缘检测得到的边缘信息进行Hough变换直线检测,设定阈值T,得到累加计数器中的值大于T时所包含的直线信息。

2)确定初始直线。根据得到的两激光光斑中心点,分别计算两中心点到获得的直线之间的距离,根据两点到直线的最小距离确定两条初始激光束直线l1l2

3)骨架特征点信息分割。利用得到的激光束骨架中所有的点计算这些点到两初始直线之间的距离,设置区域外点到直线距离误差D,将到两直线l1l2的距离范围为0~D的点设为区域∑Q1(xi,yi)和∑Q2(xj,yj),得到两直线附近区域的点集。

4)分别计算区域∑Q1(xi,yi)中所有到直线l1的距离和区域∑Q2(xj,yj)中所有到直线l2的距离,设置区域内点到直线距离阈值d,将所有距离大于d的点剔除。

5)将剔除“野值”后的两直线区域的点分别利用最小二乘法进行直线拟合,得到新的两直线方程

6)重复上述步骤4)、5),直至步骤4)中再无剔除点,即可得到两激光束直线的直线方程。

经过上述算法,通过不断剔除孤立点使得直线拟合过程减少因“野值”引起误差,从而大幅提高激光束直线提取的精确性与稳定性。利用上述算法得到的直线特征如图9所示。图9中蓝色直线为利用Hough变换与最小二乘法计算得到的直线,红色直线则为仅使用Hough变换得到的直线。通过计算左侧激光光斑中心到左侧直线的距离可得,光斑中心到蓝色直线的距离为0,光斑中心到红色直线的距离为3.6 pix。可见,结合Hough变换与最小二乘法计算得到的直线相对于仅利用Hough变换检测得到的直线,不仅具有较高的检测精度,还可以提高直线检测稳定性。

图9 直线检测结果

Fig.9 Measurement result of straight line

4 掘进机机身位姿参数解算

以图5原始图像为例,对掘进机位姿解算进行说明。已知相机焦距f=5.134 5 mm,两激光光斑之间距离d=490 mm。通过所述激光光斑中心定位方法,得到图像坐标系中左右两激光光斑中心在图像中的坐标分别为P2(1 434,700)和P1(1 530,699),左右两激光束直线方程L1L3分别为710x+373y-1 279 240=0,709x+593y-1 499 277=0,由于直线L3P1P2两点,可计算得到L3直线方程为x+96y-68 634=0。可得3个投影面的法向量N1N2N3分别为

根据三条激光束在相机坐标系中方向向量V1V2V3与投影平面的几何关系有

V3=V1=N1×N3V2=V1×N2

可解得:

根据摄像机成像模型可得两激光光斑距离相机光心距离k1k2分别为7 790.5 mm和7 857.8 mm,定义并得到激光点P1P2在相机坐标系下的坐标为(x1y1z1)、(x2y2z2),根据相机成像模型可计算得到P1(793,86,-1 407.49,7 621.14)和P2(1 283,86,-1 408.31,7 623.23)。由于激光测量坐标系位于P1P2的中心,则可以根据光斑到相机中心距离k1k2和光斑坐标得到激光坐标系相对于相机坐标系的平移量T

根据两激光光斑空间坐标,可以计算得到激光测量坐标系计算Xd轴在摄像机坐标系中方向向量为

两激光束直线在图像坐标系中的投影相交于消失点坐标q3(x3y3z3),可得到激光测量坐标系的Yd轴在摄像机坐标系中方向向量为

通过叉乘可以计算得到Zd轴在摄像机坐标系中方向向量为

则可计算得到测量坐标系与相机坐标系之间旋转矩阵M

通过相机外参标定可以得到相机与机身的转换关系为(90°,90°,-90°)以及(-300,-100,0),由此可计算得到机身与激光测量坐标系之间的关系为

5 试验及结果分析

5.1 掘进机机身位姿测量试验

为验证机身视觉测量方法的可行性和稳定性,搭建掘进机位姿视觉测量试验平台,如图10所示。试验平台由悬臂式掘进机模型、计算机、MV-EMV510M防爆工业相机以及YHJ-800激光指向仪组成。

图10 悬臂式掘进机机身位姿测量试验平台

Fig.10 Experimental platform for posture measurement of boom-type roadheader

为模拟井下巷道环境,利用矿灯以及烟雾制造机进行灯光以及粉尘干扰。试验时工业相机将采集得到的图像信息通过以太网传输到计算机中,在计算机中完成对图像预处理、激光光斑中心以及激光束直线特征的提取,计算获得相机在激光指向坐标系中的位姿。根据激光指向仪坐标系与巷道坐标系之间的已知关系,可得到机身坐标系巷道坐标系之间的关系,实现掘进机机身位姿的实时定位。其中,两平行放置的激光之间距离为55 cm,设定每次移动距离为10 cm,利用计算机编写相机软出发程序,实时触发固定在掘进机上的防爆工业相机采集激光指向仪特征信息,设置采集时间间隔为100 ms。

在实验室进行机身位姿视觉测量精度测试时,将全站仪获得掘进机机身在激光测量坐标系下的位姿真实值与视觉测量计算结果比较,获得视觉测量系统的检测精度。利用本文提出的单目视觉测量系统,计算获得机身和激光测量坐标系之间的转换关系,可确定机身在激光测量坐标系中的机身位姿。研究中也对直线提取算法进行了对比分析,结合Hough变换和最小二乘法的直线特征检测具有一定的优势。表1、图11分别为试验结果数据及试验误差曲线。

表1 悬臂式掘进机机身位姿测量部分试验结果

Table 1 The test results of the posture measurement of the cantilever roadheader

不同检测方法X/mmY/mmZ/mm偏航角/(°)横滚角/(°)俯仰角/(°)测量真实值-950-60-5.11-0.121.45-2002 040-605.13-0.27-1.56-3102 040-60-5.56-0.381.21-3102 150-605.380.10-1.24-3102 260-605.340.281.55Hough变换直线检测-128.6-24.3-55.2-5.52-0.461.66-188.62 045.2-78.35.58-0.99-1.89-325.92 053.8-75.4-5.88-0.781.67-325.72 156.5-76.55.010.74-1.03-325.22 270.9-76.14.950.581.26结合Hough变换与最小二乘法-100.7 2.6-61.3-5.31-0.231.50-203.22 035.7-62.65.39-0.11-1.67-312.22 038.9-60.9-5.32-0.521.34-312.52 149.1-61.15.610.31-1.41-312.82 259.9-61.25.610.501.38

图11 位姿测量误差

Fig.11 Error of posture measurement

试验结果表明,该方法可以在含有杂光以及粉尘的背景下准确计算出悬臂式掘进机的位置信息。图11中,蓝色曲线为利用Hough变换进行直线提取时的机身位姿测量误差,红色曲线为结合Hough变换与最小二乘拟合进行直线提取时的机身位姿测量误差。

由图11可以看出,结合Hough变换和最小二乘法进行直线提取,计算得到的掘进机机身位置误差,在激光测量坐标系中的误差分别为:X轴方向小于20 mm,Y轴方向小于25 mm,Z轴方向小于18 mm;掘进机机身偏航角角度误差小于0.3°,俯仰角角度误差小于0.25°,横滚角角度误差小于0.3°,小于单一采用Hough变换所解算的位姿误差,实现巷道中掘进机机身位姿的有效测量。

5.2 煤矿井下工业试验

在山西某矿井运输掘进巷道进行悬臂式掘进机机身测量试验,试验平台包括EBZ260型掘进机、防爆工业相机、防爆计算机及激光指向仪等,如图12所示。

图12 井下悬臂式掘进机视觉测量现场试验

Fig.12 Field test for vision measurement system on boom-type roadheader in coal mine

现场测试中,将防爆计算机、防爆工业相机等固定在掘进机机身上,在原有激光指向仪旁边再平行固定一个激光指向仪(保证两激光束平行)。利用防爆摄像机采集激光指向仪光斑和光束图像,将图像传输到计算机中完成图像预处理、激光光斑中心定位、激光束直线特征提取以及位姿解算等过程,激光点及激光束图像处理过程如图13所示。

图13 图像处理过程

Fig.13 Image processing

在井下试验时,2个平行放置的激光指向仪之间距离为60 cm,计算机向防爆相机发软触发指令,间隔100 ms采集巷道图像。考虑掘进机横向移动困难,井下试验时通过移动安装在机身上的防爆工业相机模拟机身横向移动。结果分析时以相机移动距离的人工测量数据为真实值,通过人工测量结果与视觉测量结果对比确定现场的测量误差。由于井下掘进机角度真实值测量困难,故此处仅给出计算得到的掘进机姿态信息。表2、图14分别为试验结果数据及试验误差曲线。

表2 悬臂式掘进机机身井下视觉测量部分试验结果

Table 2 Part of experimental results of body vision measurement in underground coal mine

项目X/mmY/mmZ/mm偏航角/(°)横滚角/(°)俯仰角/(°)真实值-350 1 500 -16 200 -2501 520-16 200-1501 520-16 200-551 510-16 200501 520-16 200检测值-326.81 525.1-16 173.2-3.350.63-0.58-258.11 536.0-16 168.32.38-2.35-0.76-177.51 530.7-16 186.7-2.182.171.69-43.41 518.2-16 228.23.59-5.342.3360.11 527.5-16 218.15.835.233.36

经过井下视觉测量试验可知,该方法可以在掘进工作面高粉尘、水雾以及杂光的环境下稳定获取激光图像特征,计算出悬臂式掘进机机身位置信息。悬臂式掘进机测量误差如图14所示,采用该方法获得的掘进机机身位置在激光测量坐标系中X轴方向的误差在±40 mm以内,X轴方向的误差在±38 mm以内,Z轴方向的误差在±40 mm以内。根据掘进机现场断面截割成形结果,该方法满足巷道掘进施工精度要求。结合系统选配的捷联掼导系统,近一个月工业试验中保证了悬臂式掘进机精确定位和定向掘进。

图14 悬臂式掘进机位移测量误差

Fig.14 Measurement error of boom-type roadheader

6 结 论

1)采用基于门形三线的单目视觉测量原理,以激光点、线为特征,结合建立的悬臂式掘进机位姿测量模型,可以实现煤矿井下巷道施工中设备精确定位要求。

2)针对井下施工环境设计激光特征提取处理流程,提出结合Hough变换与最小二乘法的特征提取算法,实现了在杂光、粉尘和水雾等复杂背景下激光点、线的精确提取。

3)煤矿井下进行悬臂式掘进机机身位姿测量工业试验表明,采用该方法获得的掘进机机身位置信息的误差在±40 mm以内,可满足巷道掘进施工精度要求。

4)考虑视觉测量在井下应用过程中存在低照度、水雾、遮挡等因素,图像丢帧会导致位姿测试值跳动等异常,下一步应加强与捷联掼导测量等方法的融合机理及方法方面的研究,优势互补提高井下装备位姿测量的稳定性,为实现掘进过程定位、定向和定形截割提供理论和技术支撑。

参考文献(References):

[1] 王步康. 煤矿掘进技术与装备的现状及趋势分析[J].煤炭科学技术, 2020, 48(11): 1-11.

WANG Bukang. Current status and trend analysis of coal mine driving technology and equipment[J].Coal Science and Technology,2020,48(11):1-11.

[2] 杨仁树.我国煤矿岩巷安全高效掘进技术现状与展望[J].煤炭科学技术,2013,41(9):18-23.

YANG Renshu. Present status outlook on safety and high efficient heading technology of mine rock roadway in China[J]. Coal Science and Technology,2013,41(9):18-23.

[3] 刘送永,张德义.巷道掘进机智能化技术研究现状及展望[J].工矿自动化,2019,45(10):23-28.

LIU Songyong,ZHANG Deyi. Research status and prospect of intelligentization technology of roadheader[J].Industry and Mine Automation,2019,45(10):23-28.

[4] 项 杰,杨尚武.悬臂式掘进机导航技术现状及其发展[J].科技创新与应用,2019(14):160-161.

XIANG Jie,YANG Shangwu.The present situation and development of cantilever roadheader navigation technology[J]. Technology Innovation and Application,2019(14):160-161.

[5] BARRETT J M,GENNERT M A,MICHALSON W R,et al.Development of a low-cost,self-contained,combined vision and inertial navigation system[C]//2013 IEEE Conference on Technologies for Practical Robot Applications,IEEE,2013.

[6] 朱信平,李 睿,高 娟,等.基于全站仪的掘进机机身位姿参数测量方法[J].煤炭工程,2011(6):113-115.

ZHU Xinping,LI Rui,GAO Juan,et al. A method for measuring the body position and attitude parameters of roadheader based on total station instrument[J].Coal Engineering,2011(6):113-115.

[7] 田 原.悬臂掘进机自动导向和定位技术探索[J].工矿自动化,2010,36(8):26-29.

TIAN Yuan.Discussion of automatic guidance and location technology for cantilever excavator[J]. Industrial and Mining Automation,2010,36(8):26-29.

[8] 田 原.基于机器视觉的掘进机空间位姿检测技术研究[J].矿山机械,2013,41(2):27-30.

TIAN Yuan. Research on automatic inspection of spatial attitude and position of roadheader based on machine vision technology[J].Mining & Processing Equipment,2013,41(2):27-30.

[9] 杜雨馨,刘 停,童敏明,等.基于机器视觉的悬臂式掘进机机身位姿检测系统[J].煤炭学报,2016,41(11):2897-2906.

DU Yuxin,LIU Ting,TONG Minming,et al.Pose measurement system of boom-type roadheader based on machine vision[J].Journal of China Coal Society,2016,41(11):2897-2906.

[10] 杨文娟,张旭辉,马宏伟,等.悬臂式掘进机机身及截割头位姿视觉测量系统研究[J].煤炭科学技术,2019,47(6):50-57.

YANG Wenjuan,ZHANG Xuhui,MA Hongwei,et al. Research on position and posture measurement system of body and cutting head for boom-type roadheade based on machine vision[J]. Coal Science and Technology,2019,47(6):50-57.

[11] 王丽丽,胡中文,季杭馨.基于高斯拟合的激光光斑中心定位算法[J].应用光学,2012,33(5):985-990.

WANG Lili,HU Zhongwen,JI Hangxin. Laser spot center location algorithm based on Gaussian fitting[J].Applied Optics,2012,33(5):985-990.

[12] CANNY J.A computational approach to edge detection[J].IEEE Transactions on PAMI,1986,8(6):669-698.

[13] 李道萍,杨 波.高精度光斑中心定位算法[J].光学仪器,2018,40(4):20-25.

LI Daoping,YANG Bo.High-precision center location algorithm of Iight spot[J].Optical Instrument,2018,40(4):20-25.

[14] 张绍堂,吴 鸿,宁德琼.一种高精度的激光图像光斑中心检测方法[J].激光杂志,2018,39(8):153-156.

ZHANG Shaotang,WU Hong,NING Deqiong. High-precision laser image light spot center detection method[J]. Laser Magazine,2018,39(8):153-156.

[15] 吴泽楷,李恭强,王文涛,等.基于改进圆拟合算法的激光光斑中心检测[J].激光与红外,2016,46(3):346-350.

WU Zekai,LI Gongqiang,WANG Wentao,et al.Laser spot center detection based on improved circle fitting algorithm[J]. Laser and Infrared,2016,46(3):346-350.

[16] 谢欣欣,江 伦,张 雷,等.天空背景光条件下空间激光通信系统粗跟踪光斑提取方法[J].大气与环境光学学报,2017,12(3):236-240.

XIE Xinxin,JIANG Lun,ZHANG Lei,et al. Extraction method of rough tracking spot in space laser communication system under the condition of sky background light[J]. Journal of Atmospheric and Environmental Optics,2017,12(3):236-240.

[17] 张 炫,杨 艳.基于改进随机霍夫变换的直线提取算法[J].信息技术,2017(12):6-9.

ZHANG Xuan YANG Yan.Straight-line extraction algorithm based on improved randomized Hough transform [J].Information Technology,2017(12):6-9.

[18] 张丽妍,裴 亮,朱添翼.一种高效的建筑物直线特征提取算法[J].测绘与空间地理信息,2017,40(6):136-138,141.

ZHANG Liyan,PEI Liang,ZHU Tianyi. An efficient algorithm for linear feature extraction of buildings[J]. Geomatics & Spatial Information Technology,2017,40(6):136-138,141.

[19] 樊德金,杨龙兴,丁 力,等.基于改进最小二乘法的焊缝直线提取研究[J].热加工工艺,2018,47(15):217-220,224.

FAN Dejin,YANG Longxing,DING Li,et al.Weld line extraction based on improved least square method[J]. Hot Working Technology,2018,47(15):217-220,224.

[20] 冯绍权,花向红,陶武勇.一种基于补偿最小二乘的空间直线拟合算法[J].测绘科学,2019,44(2):89-93.

FENG Shaoquan,HUA Xianghong,TAO Wuyong. A spatial linear fitting algorithm based on compensation least squares[J]. Science of Surveying and Mapping,2019,44(2):89-93.

[21] 闫怀仁,杨慕升.基于改进的Hough变换的直线提取算法[J].红外技术,2015,37(11):970-975.

YAN Huairen YANG Musheng. Line extraction based on improved hough transform[J]. Infrared Technology,2015,37(11):970-975.

[22] LIU Yuncai,HUANG T. Determination of camera location from 2-D to 3-D line and point correspondences[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,1990,12(1):28-37.

[23] 刘 昶,朱 枫,欧锦军.基于门形三条直线的P3L问题的闭式解[J].沈阳理工大学学报,2009,28(4):11-14,18.

LIU Chang,ZHU Feng,OU Jinjun.Door shaped three lines based p3l problem’s closed-form solution[J]. Journal of Shenyang Ligong University,2009,28(4):11-14,18.