移动扫码阅读
移动扫码阅读
Design and key technology analysis of coal－gangue sorting robot
煤矿智能化是适应现代工业技术革命发展趋势、保障国家能源安全、实现煤炭工业高质量发展的核心技术支撑［1－3］。 大力推进智能系统、智能装备的技术创新和应用，全面提升我国煤矿智能化水平，对于提升煤矿安全生产水平、保障煤炭稳定供应具有重要意义［4－5］。 《关于加快煤矿智能化发展的指导意见》（发改能源〔2020〕283 号）的发布对指导我国煤矿智能化建设具有重要的里程碑意义。 国家《能源技术革命创新行动计划（2016—2030 年）》提出，到2030 年实现煤炭智能化开采。 同时，国家煤矿安全监察局公布了《煤矿机器人重点研发目录》对五大类38 种煤矿机器人分别提出了具体的研发应用要求，希望通过“机器换人”来实现煤矿作业的“少人则安、无人则安”。 可见，煤矿智能装备是煤矿智能化发展的重要保障和支撑条件，推进煤矿机器人研发及产业化应用，提高智能装备的成套化和国产化水平，也是煤炭行业技术发展、技术攻关一个重要方向［6－7］。
在煤炭生产过程中，原煤中不可避免地混有矸石。 由于矸石的发热值低，不仅会降低煤炭的发热量，还是主要的污染源之一，因此将矸石从原煤中分选出来是提高原煤质量，煤炭清洁利用的一个必不可少的处理流程。 智能化煤矿要重点建设十大智能系统［8－9］，其中煤炭分选智能化系统的建设是煤矿智能化建设的一项主要内容。 《中国制造2025—能源装备实施方案》（发改能源〔2016〕1274 号）明确要求研制智能化分选装备，重点研发千万吨级／年模块化智能分选装备及智能化控制系统。 基于信息传感、人工智能、视频监控等技术对原煤的分选过程进行自动化、少人化操控是智能分选系统的发展方向。亟需一种煤矸在线分拣机器人对原煤输送带上的煤和矸石自动识别并分拣，对大幅提高选矸质量和分选效率，具有较大的社会和经济效益。
目前我国主要有手选和机选2 种选矸方法，手工选矸方式是分拣原煤中夹杂大块矸石的主要环节，通过人工将煤流中的大块矸石分拣出来，放入手选带式输送机两侧的溜槽。 手工选矸工人劳动强度大，且生产效率低，工作环境恶劣，现场粉尘严重影响工人的身体健康，矸石的分拣率受工人素质和管理水平等因素的影响，选矸质量难以保证。 第二种是机选，可进一步细分为干法选矸和湿法选矸［10］，但这种方法一般都要将原煤块进行破碎，这将造成环境污染或部分精煤的无法分选，且部分场合不适合机选。
在煤矸自动化分拣系统研究方面，袁华昕［11］采用辐射较小的X 射线进行矸石分选研究，马宪民［12］提出了煤矸石在线识别与自动分选系统，曹现刚等［13－14］在实验室环境下设计了一种多台机械臂的煤矸分拣机器人，研究了面向煤矸分拣机器人的多臂协同控制策略，取得了较好的效果。
要实现煤矸自动分选，如何自动识别煤和矸石是关键环节。 煤矸识别主要是依据煤与矸石不同的物理性质对二者进行区分，主要指煤矸的密度、灰度、纹理、硬度、辐射性、导磁性等。 目前可用于井上地面煤矸识别的方法主要有伽马射线法和图像识别法。 伽马射线法是针对煤和矸石对不同能量的γ 射线吸收率不同而建立的一种识别方法，可以实现煤和矸石在线识别，它对被测煤矸石的厚度范围有一定限制，但这种方法设备复杂昂贵，射线泄漏可能造成环境污染，危害工人的身体健康。 随着人工智能和计算机视觉技术的飞速发展，让机器人拥有感知图像内容的能力成为当今研究的热点。 图像法选煤是利用图像识别系统对煤和矸石进行拍照采集图像信息，通过人工智能识别技术对图像进行分类识别。在该研究领域中，基于煤和矸石图像的灰度信息研究最为广泛。 刘富强等［15］在理论上探索图像处理和模式识别技术在煤矿自动选矸中的应用，孙继平等［16］利用煤岩图像等实现了对煤岩的识别，取得了一定成果。 谭春超［17］采用粒子群算法进行优化，改善了系统的识别效率。 郭永存等［18］研究了X 射线探测的光电智能分选技术，TRIPATHY 和REDDY等［19－20］首次采用颜色特征实现煤矸分选，丰富了煤矸分选的应用范围。 李曼等［21］在实验室环境下对图像法进行了试验。 王家臣等［22］研究了基于多特征多照度融合的SVM 分类器性能。 各国专家学者对煤矸识别做了许多卓有成效的研究，国内研究的焦点主要集中在利用灰度共生矩阵对煤矸实现自动识别，随着人工智能AI 技术和深度智能自学习技术的发展，还缺少对煤矸图像预处理、颜色、纹理、形状以及分类器的深层次综合研究，煤矸识别成功率还有待提高，煤矸识别理论及算法还有待进一步深入研究。
并联机器人具有结构刚度大、速度快等优点，在物料的搬运、包装、分拣等方面有着无可比拟的优势。 通过配置视觉传感器，可实现煤矸石的快速分拣。
煤矸在线分拣机器人系统如图1 所示，主要由输送带单元、图像处理与识别单元、煤矸抓取机构以及Delta 并联机器人本体4 部分组成。
图1 Delta 机器人煤矸分拣系统
Fig.1 Delta robotic coal－gangue sorting system
煤与矸石在输送带上属于二维平面上的物体识别，因此需搭载一个摄像头并采用Eye－to－Hand 的安装方式。 同时利用旋转编码器的位置反馈原理对识别到的矸石进行实时位置跟踪。 煤矸分拣系统通过图像采集和识别得到目标矸石的抓取位置坐标P（x，y，z） ，将矸石位置坐标通过TCP 网络传输到KeMotion 控制器中的信息数据库中，并触发一个锁存事件用于记录编码器反馈的位置信息。 假设编码器实时反馈数值用Ve1表示，锁存器中记录的初始编码器数值用Ve0表示，目标物体在输送带移动的距离由式（1）得到：
式中：Fc 为输送带比例因子（输送带位移与编码器位置变换量比值）。
假设目标物体在输送带移动的方向为坐标点x 轴正方向，则目标物体在输送带坐标系下的实时坐标为P′（x＋L，y，z），若此时通过煤矸分选系统综合标定得到输送带坐标系与机器坐标系关系，则可将输送带坐标系下实时坐标点P′转换成机器人坐标系下的实时坐标，最后机器人控制系统根据反馈回来的输送带速度和实时位置信息对目标物体的抓取轨迹进行规划，完成对煤矸石的跟踪抓取工作。
如图1 所示，CCD 工业相机安装在Delta 并联机器人工作空间之外，CCD 相机采集煤矸石图片并将图像信息传到图像识别软件中进行识别，若识别结果为矸石，则将矸石的位置信息传输到Kemotion控制器中的信息数据库中，机器人控制系统通过得到的矸石位置信息和反馈回来的编码器数值信息，控制气动机械手爪完成对目标矸石的抓取。当矸石被成功抓取后，Kemotion 控制器系统自动删除信息数据库中的相关矸石位置数据信息，系统进入下一个工作循环，机器人视觉分拣系统框图如图2 所示。
图2 视觉分拣系统框
Fig.2 Block ofvisual sorting system
机器人硬件系统主要由3 部分组成：
1）图像采集系统，包括：①CCD 工业相机：分辨率和帧率是工业相机选取的2 个重要的性能指标，通常相机分辨率越高，帧率性能就会相对降低，可根据实际要求选择与之相匹配的相机参数。 本系统需要对输送带上的煤与矸石的纹理特征进行采集，因此要分辨物体的细节特征，同时帧率选取较低时，相应的曝光时间则会延长，容易出现运动模糊现象。因此选择分辨率和帧率都能满足实际工程要求的CCD 相机。 本系统选择DALSA 的Genie Nano M2590 NIR 型工业相机，视觉检测范围500 mm×700 mm，检测精度0.1 mm，可以满足需求。 ②光源：稳定的光源对于图像处理结果的稳定性十分重要。 选取合适的光源和打光方式能够显著提升目标物体成像质量，提高识别物体与背景的对比度，降低图像提取的难度，本系统选择性价比较高的荧光灯作为煤矸分拣系统的光源，光源的布置及打光方式如图3所示。 ③镜头：选用Computar M1614－MP 型号镜头。
图3 识别光源区
Fig.3 Light source area for coal recognition
2）主控制器：控制系统选用KeMotion R5000 系列机器人控制器，并运行VxWorks 实时操作系统。控制器中既包含了RC 机器人控制系统，同时也添加了软PLC 控制系统模块。 两个模块内存共享，实现协同控制，RC 部分主要实现机器人运动控制，而软PLC 系统负责外部逻辑电路、电气控制以及实时的外部信号采样处理。
3）伺服驱动：包括伺服电机及其驱动器。 采用3 台大扭矩，过载能力强的多摩川系列TBL－iⅢAC伺服电机，选用CoolDrive R4 型伺服驱动器驱动。
Delta 并联机器人型号为D3P－1100，其工作空间为（D×H）1 100 mm×370 mm，最大有效负载6 kg，重复定位精度为±0.1 mm，最大加速度120 m／s2，最大速度7 m／s，满足试验要求。
按照上述方案搭载的试验平台如图4 所示。
图4 Delta 并联机器人试验样机
Fig.4 The experimental prototype of Delta robot
笔者基于ROI 和背景差分法对复杂背景下的煤矸图像进行有效图像分割并提取，针对“矸石伪装（矸石上沾有煤粉）”造成识别率不稳定等问题进行了算法改进，最后融合灰度和纹理特征组成特征向量组，选取合适的核函数及影响参数值，将煤矸样本数据进行训练得到SVM 分类器，再利用得到的SVM 分类器对煤矸样本进行在线识别分类。 煤矸分类识别算法流程如图5 所示。
图5 煤矸图像SVM 识别流程
Fig.5 Flow of coal gangue image SVM recognition
软件系统功能设计由图像识别功能和机器人运动控制功能2 部分组成。
1）图像识别功能模块采用循环工作模式，输送带处于持续工作状态，系统软件实时监控IO 端口信号，当检测有高电平，触发CCD 相机采集煤矸图像并将图像数据传入图像处理单元，经过预处理、图像分割、中心抓取位置定位、灰度与纹理特征提取、分类识别等操作，最后提取目标矸石位置坐标信息传入到目标信息数据库，再由运动控制器规划抓取路径，通过机械爪完成矸石抓取。
2）机器人运动控制功能模块采用循环工作方式，实时读取目标信息数据库中矸石位置。 当发现数据传入时，Kemotion 控制器的编码器模块将会触发一个锁存事件，用于记录此时编码器读数与输送带速度信息，对矸石进行实时跟踪。 机器人控制器根据反馈回来的编码器数值计算得到矸石的实时位置，根据输送带速度，确定矸石的抓取位置，通过运动学逆解得到各驱动电机运动轨迹，完成矸石的分拣。
目标信息数据库起到了一个信息传递的作用，将图像识别功能与机器人运动控制功能联系起来，提高了系统的利用效率和协调稳定性。 煤矸分拣机器人系统的软件流程如图6 所示。
图6 系统软件流程
Fig.6 Flow of system software
模拟实际生产环境进行煤矸在线识别分拣试验。 煤矸在线识别试验过程如图7 所示，煤与矸石依次通过视觉采集区域，通过识别算法识别矸石并将矸石的坐标信息通过TCP 协议传送到目标信息数据库中；煤矸自动识别抓取试验如图8 所示，通过控制机器人气动机械爪实现矸石的抓取操作。 由于试验条件和机器人承载重量限制，试验只对质量在6 kg 以下的煤和矸石测试样本随机组合，得到5 组煤矸混合测试样本组，每组样本的矸石数量不同，每组测试样本交替排列依次通过视觉采集区，图像识别试验结果见表1。 试验结果表明，该结构的煤矸在线分拣并联机器人可有效识别煤矸石并自动完成分拣，识别和分拣效果较好。 同时，经试验证实对于重量小的矸石、分拣速率越高，通过配置不同负载的机器人，可以实现煤矸石的自动分拣的要求。
表1 煤矸石识别测试结果
Table 1 Recognition test results of coal gangue
测试样本 矸石数量／个 识别数量／个 识别率／%混合样本组1 18 17 94.44混合样本组2 15 14 93.33混合样本组3 16 13 81.25混合样本组4 20 18 90.00混合样本组5 14 12 85.71
图7 煤矸在线识别
Fig.7 Online recognition experiment of coal and gangue
图8 煤矸石分拣试验
Fig.8 Experiment of coal gangue separate
煤矸分拣工作环境复杂，煤矸石重量和形状不规则呈随机性分布，目前Delta 型并联机器人主要应用于恒定负载场合使用，国内外对变负载下的高速并联分拣机器人理论研究较少。 对高速、变负载并联分拣机器人而言，将杆件视为刚体的传统分析方法将不再适用，不能真正解决由杆件柔性引起的弹性变形与误差控制等问题。 涉及具有弹性构件的并联机器人的研究尚处于初步阶段，许多关键技术问题还有待分析、论证。 为了提高煤矸分拣机器人的识别效率和稳定控制性能，实现工业化推广和应用，笔者认为该构型的煤矸分拣并联机器人以下几个关键技术有待进一步深入研究：
1）研究高速、变负载条件下弹性变形、铰接间隙等多因素对机器人运动学和动力学数学模型误差的传递机理与耦合特征，为机器人的自适应稳定性控制提供理论支撑［23］。
2）研究基于深度学习的特征提取、分类决策机理和算法，实现煤矸多特征交互融合智能图像识别，提供一种图像识别成功率高的算法，解决煤矸图像识别不稳定的问题。
3）研究高速、变负载等多因素扰动效应的并联机器人自适应智能控制原理和策略，解决由于变负载扰动以及机器人动力学模型不确定性对机器人控制不稳定的问题。
1）综述现有煤矸分拣机器人现状基础上，结合并联机器人结构简单，速度快等特点，提出将Delta型并联机器人应用到煤矸分拣领域。
2）介绍了煤矸在线分拣并联机器人的基本原理和工作流程，设计了机器人的软硬件系统，提出了一种融合煤矸灰度和纹理特征的分类算法流程，并对软件系统进行了功能设计。
3）试验结果表明，Delta 型并联机器人应用于煤矸在线分拣是完全可行的，相比目前机械臂式机器人，其分拣速度和效率大大提高，可满足工程现场需求，实现了煤矿“机械化换人、自动化减人”，达到企业减员增效的目的。
4）并联机器人用于煤矸石的自动分拣是初步探索，针对研究过程中遇到的问题，提出了后续研究拟重点解决的关键技术和基础理论，为煤矸在线分拣机器人的应用推广提供理论支撑。
［1］ 王国法，刘 峰，孟祥军，等. 煤矿智能化（初级阶段） 研究与实践［J］.煤炭科学技术，2019，47（8）：1－36.WANG Guofa，LIU Feng， MENG Xiangjun，et al. Research and practice on intelligent coal mine construction（primary stage）［J］.Coal Science and Technology，2019，47（8）：1－36.
［2］ 王国法，刘 峰，庞义辉，等. 煤矿智能化：煤炭工业高质量发展的核心技术支撑［J］.煤炭学报，2019，44（2）：349－357.WANG Guofa， LIU Feng，PANG Yihui，et al. Coal mine intellec⁃tualization：The core technology of high quality development［J］.Journal of China Coal Society， 2019，44（2）：349－357.
［3］ 王国法，赵国瑞，任怀伟.智慧煤矿与智能化开采关键核心技术分析［J］.煤炭学报， 2019，44（1）：34－41.WANG Guofa， ZHAO Guorui， REN Huaiwei. Analysis on key technologies of intelligent coal mine and intelligent mining［J］.Journal of China Coal Society， 2019，44（1）：34－41.
［4］ 刘 峰，曹文君，张建明.持续推进煤矿智能化，促进我国煤炭工业高质量发展［J］.中国煤炭，2019，45（12）：32－37.Liu Feng，Cao Wenjun，Zhang Jianming. Continuously promoting the coal mine intellectualization and the high－quality development of China’s Coal Industry ［J］. China Coal，2019，45（12）：32－37.
［5］ 王国法，王 虹，任怀伟，等.智慧煤矿2025 情境目标和发展路径［J］.煤炭学报，2018，43（2）：295－305.WANG Guofa，WANG Hong ，REN Huaiwei， et al. 2025 scenarios and development path of intelligent coal mine［J］.Journal of China Coal Society， 2018，43（2）：295－305.
［6］ 葛世荣.煤矿机器人现状及发展方向［J］.中国煤炭，2019，45（7）：18－27.Ge Shiron. Present situation and development direction of coal mine robots ［J］. China Coal， 2019，45（7）：18－27.
［7］ 葛世荣，胡而已，裴文良.煤矿机器人体系及关键技术［J］.煤炭学报，2020，45（1）：455－463.GE Shirong，HU Eryi，PEI Wenliang. Classification system and key technology of coal mine robot［J］.Journal of China Coal Society，2020，45（1）：455－463.
［8］ 王国法，杜毅博.智慧煤矿与智能化开采技术的发展方向［J］.煤炭科学技术，2019，47（1）：1－10.WANG Guofa，DU Yibo. Development direction of intelligent coal mine and intelligent mining technology［J］.Coal Science and Tech⁃nology， 2019，47（1）：1－10.
［9］ 庞义辉，王国法，任怀伟.智慧煤矿主体架构设计与系统平台建设关键技术［J］.煤炭科学技术，2019，47（3）：35－42.PANG Yihui，WANG Guofa ，REN Huaiwei. Main structure design of intelligent coal mine and key technology of system platform con⁃struction［J］.Coal Science and Technology， 2019，47（3）：35－42.
［10］ 张荣曾，付晓恒，韦鲁滨，等.跳汰机床层松散与分层的流体动力学研究［J］.煤炭学报，2003，28（2）：193－198.ZHANG Rongzeng， FU Xiaoheng， WEI Lubin， et al. Fluid kinetics study on jig washer bed dilation and stratification［J］.Journal of China Coal Society， 2003，28（2）：193－198.
［11］ 袁华昕.基于X 射线图像的煤矸石智能分选控制系统研究［D］.沈阳：东北大学，2014.
［12］ 马宪民.煤矸石在线识别与自动分选系统的研究［J］.西安科技学院学报，2003（1）：66－68.MA Xianmin. Study of on－line recognition and automatic separation of waste rock in coal mine［J］. Xi’an University of Science ＆ Technology Journal， 2003（1）：66－68.
［13］ 曹现刚，吴旭东，王 鹏，等.面向煤矸分拣机器人的多机械臂协同策略［J］.煤炭学报，2019，44（S2）：763－774.CAO Xiangang，WU Xudong，WANG Peng， et al. Collaborative strategy of multi－manipulator for coal－gangue sorting robot［J］.Journal of China Coal Society， 2019，44（S2）：763－774.
［14］ 曹现刚，费佳浩，王 鹏，等.基于多机械臂协同的煤矸分拣方法研究［J］.煤炭科学技术，2019，47（4）：7－12.CAO Xiangang，FEI Jiahao，WANG Peng， et al. Study on coalgangue sorting method based on multi－manipulator collaboration［J］.Coal Science and Technology， 2019，47（4）：7－12.
［15］ 刘富强，钱建生，王新红，等.基于图像处理与识别技术的煤矿矸石自动分选［J］.煤炭学报，2000，25（5）：534－537.LIU Fuqiang，QIANG Jiansheng，WANG Xinhong，et al.Automatic separation of waste rock in coal mine based on image procession and recognition［J］.Journal of China Coal Society，2000，25（5）：534－537.
［16］ 孙继平，陈 浜. 基于双树复小波域统计建模的煤岩识别方法［J］. 煤炭学报，2016，41（7）：1847－1858.SUN Jiping，CHEN Bang. An approach to coal－rock recognition via statistical modeling in dual－tree complex wavelet domain［J］.Journal of China Coal Society， 2016，41（7）：1847－1858.
［17］ 谭春超. 基于图像处理技术的煤矸识别与分选技术研究［D］.太原：太原理工大学，2017.
［18］ 郭永存，于中山，卢熠昌.基于PSO 优化NP－FSVM 的煤矸光电智能分选技术研究［J］.煤炭科学技术，2019，47（4）：13－19.GUO Yongcun，YU Zhongshan，LU Yichang. Research on photo⁃electric intelligent separation technology of coal and gangue based on NP－FSVM with the PSO algorithm［J］.Coal Science and Technology， 2019，47（4）：13－19.
［19］ REDDY K G R，TRIPATHY D P. Separation of gangue from coal based on histogram thresholding［J］. International Journal of Technology Enhancement and Emerging Engineering Research，2013， 1（4）：31－34.
［20］ TRIPATHY D P，REDDY K G R. Multispectral and joint colourtexture feature extraction for ore－gangue separation［J］. Pattern Recognition and Image Analysis， 2017， 27（2）：338－348.
［21］ 李 曼，段 雍，曹现刚，等.煤矸分选机器人图像识别方法和系统［J］.煤炭学报，2020，45（10）：3636－3644.LI Man，DUAN Yong，CAO Xiangang， et al. Image identification method and system for coal and gangue sorting robot［J］. Journal of China Coal Society，2020，45（10）：3636－3644.
［22］ 王家臣，李良晖，杨胜利. 不同照度下煤矸图像灰度及纹理特征提取的实验研究［J］.煤炭学报，2018，43（11）：3051－3061.WANG Jiachen， LI Lianghui ，YANG Shengli. Experimental study on gray and texture features extraction of coal and gangue image under different illuminance［J］.Journal of China Coal Soci⁃ety， 2018，43（11）：3051－3061.
［23］ SHANG Deyong ， LI Yu， LIU Yue， et al. Research on the Motion Error Analysis and Compensation Strategy of the Delta Robot［J］. Mathematics， 2019， 7（5）：1－14.