煤矿机器人视觉系统除尘方法研究

胡而已1,李梦雅1,王一然2,吕东翰1,孙益壮1

(1.中国矿业大学 机电工程学院,江苏 徐州 221116;2.应急管理部 信息研究院,北京 100029)

摘 要:为提高煤矿机器人视觉系统在井下高粉尘、高湿度等恶劣工况下的图像采集质量,提出了一种视觉镜头自揭膜和自动清洗综合除尘方法,为视觉系统的视窗自动清洁提供了新思路。采用在视窗表面覆盖透光隔膜的防尘原理,通过巧妙的机械结构设计实现覆膜的自动揭除和镜头视窗的除尘自清洁,充分考虑揭膜装置的防爆设计要求,开展了揭膜除尘系统的虚拟样机设计,系统可根据相机曝光量和图像采集质量自动计算当前镜头的清洁度,判断是否执行揭膜除尘动作。同时考虑在揭膜除尘失效的情况下,辅以煤矿机器人镜头喷淋除尘方法,设计了自动清洗除尘系统的总体架构,机器人通过镜头污染度自动判别算法,确定镜头喷淋清洗策略,通过自主循迹、自动定位等技术,实现喷淋清洗系统与机器人镜头的对接和清洗动作。初步试验研究表明:通过对机器人视觉系统获取的图像进行在线灰度直方图分析,可实时自动判断图像劣化程度,启动视觉系统除尘清洁装置,能够有效提高机器人视觉系统图像拍摄质量,为煤矿机器人井下导航、定位、巡检作业等提供技术保障。

关键词:煤矿机器人;机器视觉;镜头除尘;煤矿智能化

0 引 言

随着特种机器人技术的不断发展,煤矿机器人在煤矿安监、开采、运输、分选等各环节的研发与应用方面均取得了若干突破性的进展。2008年中国矿业大学研制出了国内第一台煤矿灾后探测救援机器人;由太原重型机械集团有限公司、西安煤矿机械有限公司等企业研发的采煤机已具备自主运行、记忆截割等功能,目前我国已研制出具有自主知识产权的综采成套装备智能控制系统,可实现“无人操作、有人巡视”的智能化开采生产模式。中信重工开诚智能装备有限公司研发的矿用巡检机器人已广泛应用于带式输送机、水泵房、井下绞车房、采煤工作面巡检,针对煤矿井下特殊区域瓦斯等危险气体的巡检需求,部分科研单位开发了履带式可移动气体巡检机器人,实现危险区域探测的无人化。然而,因受制于煤矿井下恶劣的工作环境,煤矿机器人的大规模推广应用还有很长一段路要走[1-2]。井下机器人的自主定位、移动、巡检等功能均依赖于机器视觉手段[3-4],视觉系统一般由CCD相机、镜头、光源、图像处理单元等组成,通过对单目或多目相机的图像数据处理,获得机器人环境参数信息。目前机器视觉的相关技术已经能够为机器人导航、遥控操作及智能识别提供重要的理论和技术支撑。然而机器人视觉系统在煤矿井下的应用过程中,还需克服低照度、高粉尘的影响。煤矿机器人的视觉系统需内置于隔爆外壳内,隔爆外壳的设计和使用过程中对防爆接合面的表面粗糙度和缝隙有特定的要求,大量煤尘等污染物覆盖隔爆装备表面[5],会导致隔爆腔内处于完全封闭环境,不利于有害气体的排出,使得视觉系统隔爆装置的安全性能下降。如何通过技术手段实现机器人视觉系统的防尘和除尘,从而确保视觉系统不被粉尘污染,提高图像捕获质量和系统安全性是亟待解决的问题。

针对上述问题,兰熙[6]提出了针对无人值守监控摄像头的自动清洗方法,解决高粉尘环境中图像监控系统画面清晰度不足、品质低的缺点;卢义玉等[7]提出利用射流泵技术除尘;邵俊杰[8]研发的机载干式除尘系统改善了湿式除尘系统体积较大,安装复杂的问题,有效降低了粉尘污染,改善了作业环境;郭胜均[9]研发了新型矿用气动湿式孔口除尘器,提高了除尘效率;陈颖兴等[10]研发了一种新型孔口除尘器,大幅减少了打钻时产生的粉尘;ZHOU等[11]设计的除尘风机可以有效降低采煤机周围作业区域的粉尘浓度,使得综采工作面降尘效果良好;张强[12]设计了一种基于 ARM 芯片的煤矿防尘设备监控系统的监控分站,实现对煤矿粉尘防治设备的远程监测和控制;彭赶等[13]提出了一套针对手机屏幕缺陷的自动检测系统,可消除灰尘对图像检测结果的影响;张福明等[14]研发一种防爆监控摄像机视窗的自动清洁装置,通过能见度传感器采集视频图像的清晰度,实现快速自动清除视窗表面的粉尘。NIE等[15]设计并研制了一种新型的多径向涡发生器,控制采掘工作面粉尘向工作面扩散;CHENG等[16]研究表明防尘应考虑不同粒径粉尘颗粒的扩散距离和污染机理;WANG等[17]通过建立除尘效率的理论公式,分析了粉尘特性参数对各种除尘效率的影响。但以上各类防尘和除尘方法都不能完全解决煤矿机器人视觉系统在井下恶劣工况中粉尘干扰问题,因此,笔者在现有视觉系统防尘、除尘方法的基础上,提出了煤矿井下机器人揭膜式除尘设计与自动清洗除尘系统相结合的防尘、除尘思路,并进行了揭膜式防尘装置样机的设计和自动清洗除尘系统的构建。

1 视觉系统揭膜式除尘设计

1.1 揭膜式除尘设计原理

首先针对煤矿井下高粉尘环境,考虑煤矿机器人的视觉系统本身要具有主动的防尘功能。参考生物视觉系统的架构,通过设计仿生眼睑[18]来实现机器人视觉系统的防尘和除尘,从而提高煤矿机器人在井下高粉尘、高湿度等恶劣工况下视觉系统的可靠性,使得井下环境和设备工作信息可以被高质量采集、存储,并基于各类机器视觉算法实现图像的智能处理和应用。

当机器人进入煤矿井下作业后,空气中漂浮的粉尘不可避免地对机器人镜头造成污染,此时视觉系统要自主地发现镜头污染情况和污染程度,并利用特殊的机械装置准确完成除尘任务。对此,提出一种视觉系统的除尘装置及清洁方法,其基本原理是采用揭膜的方式实现防爆摄像装置的自清洁,而且整个揭膜保护装置的设计要满足矿用机电产品的防爆设计要求。当视觉系统的摄像机采集图像时,可根据曝光量和图像质量获得当前镜头的清洁度,通过与所设置的能见度阈值进行实时比较,判断是否执行除尘动作。若图像监测结果表明图像质量劣化明显,需要执行除尘动作,则发送指令给执行机构,通过步进电动机驱动执行机构实现自动揭膜,达到视觉镜头主动除尘的目的。

1.2 揭膜式除尘样机设计

为实现上述视觉系统揭膜式除尘的基本功能,根据煤矿井下爆炸性气体环境下电气设备的设计要求,设计了一种煤矿机器人用揭膜自清洁防爆摄像装置,其主要结构如图1所示。

1—防爆箱体;2—三叉戟钩爪;3—密封结构;4—视窗玻璃;5—固定螺钉;6—防爆摄像机;7—防爆喇叭口;8—控制器;9—左腔体;10—驱动器;11—压板;12—透光防尘膜;13—拉环;14—电动机;15—右腔体

图1 揭膜自清洁防爆摄像装置结构

Fig.1 Uncover film self-cleaning explosion-proof camera structure

揭膜自清洁防爆摄像装置主要由防爆箱体组成,防爆箱体内部采用通孔堵头螺丝定位,防爆箱体内分为上下2个腔室,其中上部腔室中固定有防爆摄像机,防爆箱体在防爆摄像机的镜头处设有视窗玻璃,下方腔体包括左腔体和右腔体,其中左腔体内设有相互连接的控制器和驱动器,右腔体中设有电动机,电动机的转轴伸出防爆箱体并设有三叉戟钩爪,三叉戟钩爪的3根钩杆长度不相等。控制器与上腔体中的防爆摄像机导线连接,驱动器通过导线与右腔体中的电动机相连接,左腔体和右腔体分别通过左腔盖板和右腔盖板固定密封;每次在视窗玻璃上贴上3张透光防尘膜,供机器人一个工作班次(8 h)作业过程中使用。透光防尘膜与三叉戟钩爪同侧延伸出3只拉环,拉环与三叉戟钩爪的3只抓钩高度相匹配,分别使3个抓钩能够勾住并撕扯开。视窗玻璃通过压板与防爆箱体的上腔室固定。控制器、相机、电动机及驱动器的线缆在穿过箱体时采用胶封方式固定。

1.3 防尘机构的执行模式分析

煤矿机器人视觉系统揭膜自清洁防爆摄像装置的清洁方法包括半自动模式和自动模式。半自动模式和自动模式的启动、切换以及终止可由外部控制器发出指令进行控制。其中半自动模式直接由操作人员发送信号给控制器,控制电动机带动三叉戟钩爪旋转拉动,从而撕扯对应透光防尘膜的拉环达到更换防尘薄膜的目的。

视觉系统揭膜除尘自动模式的工作流程如图2所示。首先移动机器人的防爆摄像机采集矿井环境的图像,并将采集到的图像发送到控制器处;然后控制器分析采集到的图像,从而得到当前图像的能见度T;其次,比较当前图像的能见度T和预设阈值A,如果当能见度小于预设阈值,则表明需要更换透光防尘膜,否则等待下一次分析对比;最后,控制器向驱动器发送需要更换透光防尘膜的PWM信号,同时记录曾经的发送次数N,当向驱动器发送的PWM信号次数小于3时,则控制驱动电动机旋转,电动机带动三叉戟钩爪旋转120°,旋转过程中勾住与三叉戟钩爪匹配的透光防尘膜的拉环,在三叉戟钩爪旋转的作用下撕下当前透光防尘膜,从而完成视窗清洁;当检查发送的PWM信号次数等于3时,则发出透光防尘膜用尽警告,结束整个流程。

图2 视觉系统揭膜除尘工作流程

Fig.2 Workflow chart of film uncovering and dust removal in vision system

2 视觉系统自动清洗除尘系统

2.1 自动清洗除尘系统基本原理

由于揭膜式除尘系统上镜头防尘膜的数量是有限的,在使用过程中当镜头上的所有防尘膜均被揭完后,如果工作人员不能及时更新镜头防尘膜,机器人视觉系统的镜头还是会被粉尘和污渍等污染,导致视觉系统图像质量不能得到保障,机器人的自主监测功能受损。因此,需要考虑在极限情况下对视觉系统的防尘功能进行冗余设计,通过其他被动式除尘方法提高机器人的续航能力。

针对上述要求,提出另外一种煤矿机器人视觉系统镜头的井下自动清洗方法。当视觉镜头表面所有携带的防尘保护膜均被揭除后,机器人自动对实时获得的动态视频图像质量进行智能分析,按照预设的镜头洁净度阈值,分析接收到的镜头曝光量信号,计算出镜头曝光量的大小,判断是否清洗镜头。通过对比分析研判,如果视觉系统镜头需要清洗,则发出指令给机器人,开始自动移动寻找井下预设的固定清洗点。通过无线通信发射和接受位置信息,自动优选出距离机器人最近的清洗点。机器人本体开始按照实时规划的路径运行到镜头清洗点,并调整镜头的姿态,对准清洗喷头,开始视觉系统的自动清洗,从而保障在揭膜除尘方法失效后,机器人仍然可以通过此自动清洗方法保证图像捕获质量。

2.2 自动清洗除尘系统设计架构

设计的煤矿机器人视觉镜头自动清洗系统结构,包括煤矿机器人、定位标签、电磁阀、供水管路以及清洗模块等,如图3所示。

1—巷道壁;2—供水管路;3—阀门控制模块;4—定位传感器;5—喷头;6—摄像头;7—机器人本体;8—清洗点

图3 视觉镜头自动清洗系统结构

Fig.3 Visual lens passive cleaning system structure

通过在巷道中设置供水管路,并在供水管路的不同位置设置多个带有电磁阀的喷头,在每个喷头的正下方设置清洗区域范围。在机器人的壳体上贴有定位标签[19],此定位标签中存储了机器人的相关信息和定位标签自身的标识信息,用于反馈机器人所在的位置信息。在每个喷头附近的巷道壁上安装多个阅读器[20],通过无线射频的方式对定位标签信息进行读取,读取的信息经过电脑控制器分析得出结果,通过结果判断出机器人所在位置最近的清洗区域,然后机器人移动到最近的清洗区域调整位姿进行镜头与喷头的对准清洗。在镜头的前端内置电加热系统,当镜头由于喷洗导致表面水雾积聚时,自动启动除水雾功能,确保喷洗后视觉系统的图像质量。

2.3 清洗除尘系统工作流程

视觉系统镜头自动清洗除尘系统具体工作流程如图4所示。首先给镜头预设洁净度,然后通过摄像头内置的CCD图像传感器获得成像瞬时的镜头快门曝光量,并采用图像处理算法计算获得的视觉镜头表面污染物覆盖面积比来表征镜头洁净度,将此刻镜头的洁净度和预设值进行对比,如果小于预设的洁净度,发出需要进行镜头清洗的信号;当机器人接收到需要清洗镜头的信号时,巷道壁面安装的阅读器发出无线射频信号读取机器人定位标签的位置,机器人根据自身位置判断并移动至最近的清洗区域;通过喷头中内置的红外感应器固定距离设置,调整机器人的位置,直到机器人的检测单元检测到红外感应器发出的信号后,调整摄像头的位姿,使得机器人的镜头和喷头对准;最后,打开控制喷头的电磁阀门进行镜头的冲洗及烘干。在冲洗的过程中不停地判断镜头的洁净度,直到大于等于洁净度预设值时,关闭阀门,停止冲洗,机器人回归正常工作。

图4 视觉系统镜头自动清洗除尘系统工作流程

Fig.4 Workflow chart of automatic cleaning and dust removal of lens of vision system

3 除尘效果试验

在实验室环境下使用带有贴膜的防爆玻璃模拟煤矿井下视觉镜头受煤泥污染情况,图5为设置的防爆相机视窗不同污染程度照片,图5a、图5b、图5c分别为镜头轻度、中度和重度污染情况下的表面煤泥附着情况,图5d为玻璃表面揭膜后的清洁表面,图6为不同污染程度下相机采集的环境图像。

图5 相机防爆玻璃污染状态

Fig.5 Contamination of camera explosion-proof glass

图6 不同污染程度下采集的图像

Fig.6 Images collected under different pollution levels

采用灰度直方图法对图像样本进行分析,判断镜头防护玻璃的表面污染程度。灰度直方图是图像灰度级的函数,可描述所采集图像中不同灰度级的像素数量及其分布状况,其中横坐标表示0~255中出现的灰度级,纵坐标表示图像中该灰度级出现的频率。

通过分析不同污染程度图像的灰度直方图可知(图7),被污染图像的灰度值集中在40以下,污染程度越严重,其灰度值范围越接近0,而揭膜式或自动清洗处理后的无污染图像灰度值主要集中在40~120。试验表明,通过揭膜或清洗可以大幅提高煤矿机器人视觉系统的图像采集质量。通过对视觉系统获取的图像进行在线灰度直方图分析,可实时判断图像的劣化程度,为煤矿井下现场摄像头的清洗决策提供科学依据。

图7 不同污染程度图像的灰度直方图

Fig.7 Gray histogram of images with different pollution

4 结 论

1)提出了一种镜头揭膜和自动清洗相结合的煤矿机器人视觉系统除尘清洁方法,适用于井下各类移动机器人,为煤矿机器人复杂恶劣工况下的精准视觉控制与作业提供了保障。

2)阐述了揭膜式除尘和自动清洗除尘的基本原理、系统结构设计和除尘作业流程。揭膜式除尘采用机械式揭膜机构设计,通过对镜头污染度的自动判断,执行揭膜除尘动作;同时辅以机器人自动清洗除尘系统,实现煤矿机器人井下巷道自动循迹、自主对接和自动清洗。

3)初步试验结果表明,通过揭膜式和自动清洗除尘系统可大幅降低井下粉尘、水渍等污染物对视觉镜头的影响,提高煤矿机器人视觉系统的图像采集质量。后续研究将进一步提升视觉除尘系统的智能化水平,并开展井下现场工业性试验,实际解决采掘工作面等高粉尘环境下视觉系统防尘、除尘问题。

参考文献(References):

[1] 朱 华.矿井救灾机器人研究现状及需要重点解决的技术问题[J].徐州工程学院学报,2007(6):5-8.

ZHU Hua.Research status of mine disaster relief robot and key technical problems to be solved[J].Journal of Xuzhou Institute of Engineering, 2007(6):5-8.

[2] 李允旺,葛世荣,朱 华.煤矿救灾机器人应用探讨[J].煤矿机械,2009,30(1):164-167.

LI Yunwang, GE Shirong, ZHU Hua.Application discussion of coal mine disaster relief robot[J].Coal Mine Machinery, 2009,30(1):164-167.

[3] 田 丰,方海峰,李允旺,等.煤矿探测机器人导航环境可通过性评价研究[J].煤矿机械,2014,35(9):47-50.

TIAN Feng, FANG Haifeng,LI Yunwang,et al.Research on the feasibility evaluation of navigation environment of coal mine exploration robot[J].Coal Mine Machinery,2014,35(9):47-50.

[4] 宋莹莹,王宏民.基于视觉导航技术人形机器人的行走和爬行研究[J].煤矿机械,2012,33(11):45-47.

SONG Yingying, WANG Hongmin.Research on walking and crawling of humanoid robot based on visual navigation technology[J].Coal Mine Machinery,2012,33(11):45-47.

[5] 鱼永平.矿用隔爆型圆筒形开关壳体设计[J].装备制造技术,2018(3):26-27,30.

YU Yongping.Design of mine flameproof cylindrical switch shell[J].Equipment Manufacturing Technology, 2018(3):26-27,30.

[6] 兰 熙.无人值守监控摄像头的自动清洗方法:103997622[P].2014-08-20.

[7] 卢义玉,王 洁,蒋林艳,等.煤层钻孔孔口除尘装置的设计与实验研究[J].煤炭学报,2011,36(10):1725-1730.

LU Yiyu,WANG Jie,JIANG Linyan,et al.Design and experimental study of dust removal device for coal seam borehole[J].Journal of China Coal Society, 2011,36(10):1725-1730.

[8] 邵俊杰.煤矿坑道钻机机载除尘系统研制[J].煤炭工程,2016,48(3):139-141.

SHAO Junjie.Development of on-board dust removal system for coal mine tunnel drilling rig[J].Coal Engineering, 2016, 48(3):139-141.

[9] 郭胜均.矿用气动湿式孔口除尘器的研发及应用[J].煤炭科学技术,2012,40(5):74-78.

GUO Shengjun.Development and application of mine pneumatic wet orifice dust collector[J].Coal Science and Technology,2012,40(5):74-78.

[10] 陈颖兴,张小涛.新型孔口除尘器研究及应用[J].煤矿安全,2011,42(4):13-16.

CHEN Yingxing,ZHANG Xiaotao.Research and application of new type orifice dust collector[J].Safety in Coal Mines,2011,42(4):13-16.

[11] ZHOU Gang, FENG Bo,YIN Wenjing,et al.Numerical simulations on airflow-dust diffusion rules with the use of coal cutter dust removal fans and related engineering applications in a fully-mechanized coal mining face[J].Powered Technology, 2018,33(9):354-367.

[12] 张 强.基于ARM的煤矿防尘监控分站的设计[J].电子设计工程,2019,27(6):9-13.

ZHANG Qiang.Design of mine dust prevention monitoring substation based on ARM[J].Electronic Design Engineering,2019,27(6):9-13.

[13] 彭 赶,张 平,潘奕创.基于机器视觉的手机屏幕缺陷检测系统研究[J].自动化技术与应用,2018,37(9):104-107,127.

PENG Gan,ZHANG Ping,PAN Yichuang.Research on mobile phone screen defect detection system based on machine vision[J].Techniques of Automation and Applications, 2018, 37(9):104-107,127.

[14] 张福明,曾 骥,金京哲.一种防爆监控摄像机视窗的自动清洁装置:203380156[P].2014-01-08.

[15] NIE Wen,WEI Wenle,CAI Peng,et al.Simulation experiments on the controllability of dust diffusion by means of multi-radial vortex airflow[J].Advanced Powder Technology,2018,29(3):33-39.

[16] CHENG Weimin,YU Haiming,ZHOU Gang,et al.The diffusion and pollution mechanisms of airborne dusts in fully-mechanized excavation face at mesoscopic scale based on CFD-DEM[J].Process Safety and Environmental Protection,2016, 104:200-212.

[17] WANG Pengfei, TAN Xuanhao, CHENG Weimin,et al.Dust removal efficiency of high pressure atomization in underground coal mine[J].International Journal of Mining Science and Technology,2018,28(4):685-690.

[18] 舒宏琦.仿生动物眨眼机构:CN2118566[P].1992-10-14.

[19] 李 强,王 玫,刘争红.基于RFID覆盖扫描的标签定位方法[J].计算机工程,2017,43(3):294-298.

LI Qiang, WANG Mei, LIU Zhenghong.Label location method based on RFID coverage scanning[J].Computer Engineering, 2017, 43(3):294-298.

[20] 胡 瑞.基于WIFI的井下移动智能信息系统研究[D].焦作:河南理工大学,2012.

Research on dust removal method for vision system of coal mine robot

HU Eryi1 , LI Mengya1, WANG Yiran2,LYU Donghan1,SUN Yizhuang1

(1.College of Mechanical and Electrical Engineering, China University of Mining and TechnologyXuzhou 221116,China;2.Information Institute, Ministry of Emergency Management of the Peoples Republic of China, Beijing 100029,China)

Abstract:In order to improve the image collection quality of the coal mine robot vision system under harsh working conditions,such as high dust and high humidity underground, a comprehensive dust removal method of self-exposed film and automatic cleaning of the vision lens is proposed, which provides a new idea for the automatic cleaning of the window of the vision system.The authors adopt the dustproof principle of covering the light-transmitting diaphragm on the window surface, realize the automatic peeling of the film and the dust and self-cleaning of the lens window through clever mechanical structure design, fully consider the explosion-proof design requirements of the film peeling device, and develop the virtual prototype design of the film peeling and dust removing system.The system can automatically calculate the cleanliness of the current lens according to the camera exposure and image acquisition quality to determine whether to perform the film removal and dust removal action.At the same time, in the case of film removal and dust removal failure, supplemented by the coal mine robot lens spray dust removal method, the overall architecture of the automatic cleaning and dust removal system is designed.The robot determines the lens spray cleaning strategy through the automatic judgment algorithm of the lens pollution degree.By tracking, automatic positioning and other technologies to realize the docking and cleaning actions of the spray cleaning system and the robot lens.Preliminary experimental research shows that: through online grayscale histogram analysis of the images obtained by the robot vision system, the real-time image degradation degree can be automatically judged, and the dust removal and cleaning device of the vision system can be activated to effectively improve the image quality of the robot vision system.It can provide technical support for coal mine robot underground navigation, positioning and inspection operations.

Key words:coal mine robot; machine vision; lens dust removal;coal mine intelligence

中图分类号:TD67;TH692.9

文献标志码:A

文章编号:0253-2336(2020)07-0243-06

收稿日期:2020-03-22责任编辑:代艳玲

基金项目:国家自然科学基金资助项目(51875568);国家重点研发计划资助项目(2018YFC0604503);中国矿业大学大学生创新资助项目(DCXM201933);国家煤矿安全监察局委托资助项目(2019-行管司-022-2)

作者简介:胡而已(1982—),男,安徽桐城人,副教授,研究生导师。E-mail:hu@cumt.edu.cn

移动扫码阅读

胡而已,李梦雅,王一然,等.煤矿机器人视觉系统除尘方法研究[J].煤炭科学技术,2020,48(7):243-248.doi:10.13199/j.cnki.cst.2020.07.025

HU Eryi, LI Mengya, WANG Yiran,et al.Research on dust removal method for vision system of coal mine robot[J].Coal Science and Technology,2020,48(7):243-248.doi:10.13199/j.cnki.cst.2020.07.025