随着安全开采理念的提升和煤矿自动化开采技术的发展,少人甚至无人综采工作面在国内一些煤矿企业得到了初步应用[1]。实现综采工作面采掘作业过程远程控制,必须有效解决工作面采煤机摇臂状态、支架姿态、拖曳电缆状态、大块煤及片帮状况等异常检测问题。特别是工作面设备间相互碰撞以及工作面支架出现挤架、咬架、倒架现象,成为影响安全生产的首要因素。因此,如何高效准确地检测综采设备间的碰撞成为煤矿安全生产的核心问题。
综采工作面设备数量多、位置关系复杂,使得设备碰撞检测难度大,缺乏有效的方法。目前国内主要采用传感器检测和人工视频监测方法[2],限于传感器检测范围小和可靠性不高,以及人工检测视野受限等因素,设备碰撞检测方面研究进展缓慢。国内外研究者利用VR平台提供的内置物理引擎实现设备间碰撞检测,取得良好效果。日本香川大学在开发微创手术的虚拟现实培训系统过程中,为满足训练触觉的需要,开发了一种基于AABB包围盒快速碰撞检测算法,缩短了碰撞检测时间[3]。中国民航大学研究混合层次包围盒算法,提高了飞机虚拟维修指导场景的碰撞检测效率[4]。北京工业大学深空机器人研究中心提出了一种基于虚拟传感器的月面巡视器机械臂碰撞检测算法,提高了传统AABB树碰撞检测精度[5]。西安科技大学张旭辉课题组利用虚拟现实VR平台提供的物理引擎-包围盒碰撞检测方法实现了煤矿综采工作面设备碰撞检测[6]。总之,借助传感器检测可以获得设备本身姿态,但是难以实现设备间位姿检测,借助VR技术融合传感器和VR平台物理引擎,有望解决设备群位姿异常检测和预警监测。
因此,提出基于Unity3D虚拟现实平台,采用虚拟射线检测方法对虚拟场景中各设备的运动轨迹和位姿进行快速判断,以目标对象是否发生相交实现综采“三机”设备间的碰撞检测,通过设置不同的阈值区间,可以实现设备间碰撞的分级预警,该方法适用于位姿变化复杂,位置耦合的设备群碰撞检测与预警。
基于VR的综采设备碰撞检测与预警系统是建立在课题组研发的煤矿综采工作面虚拟仿真与远程控制系统基础上提出的[7]。系统先构建采煤机、液压支架和刮板输送机等设备虚拟样机,按照设备间位置关系和控制模型,以Unity3D软件为虚拟开发平台,实现综采工作面设备的虚拟交互。将设备模型、环境模型与控制模型耦合在一起形成综采工作面远程控制系统,在巷道内实现综采工作面设备运行状态的虚拟仿真,运行参数的实时监测以及设备群的远程控制[8-9]。该系统由虚拟仿真与远程监控平台、远程操控台、数据通信模块、下位机硬件设备组成,系统总体组成框图如图1所示。
图1 基于VR的综采设备碰撞检测与预警监测系统组成框图
Fig.1 Block diagram of collision detection and pre-warning monitoring system for fully-mechanized mining equipment based on VR
自动化采煤过程中,采煤机、液压支架等设备上安装的位姿传感器数据实时上传并存入数据库,虚拟场景中设备的位置和姿态根据传感器数据进行实时修正,同时虚拟碰撞检测模块开始工作,实现设备间碰撞检测与预警监测功能。
虚拟场景中对虚拟对象进行碰撞检测是物理模拟的基础,因此Quest3D、Unity3D等虚拟现实开发平台都提供了用于碰撞检测的物理引擎。目前应用最广泛的检测方法有空间分割法和层次包围盒法2种,其中空间分割法是将虚拟的三维场景分割成大小相等的若干立体栅格,对占据同一栅格的对象进行相交检测[10]。由于复杂场景中不易确定栅格的分割尺寸,导致检测效率低。而层次包围盒检测法利用简单的几何图形来代替复杂的三维模型,以提高虚拟物体之间的碰撞检测运算速度[11-12]。此方式可以排除大量不可能相互碰撞的几何体,从而快速找到碰撞体,因此应用较广泛。
虚拟射线碰撞检测法是基于层次包围盒的理论研究提出,该方法适用于虚拟环境中高速运动工业设备的碰撞实时检测[13]。射线碰撞检测技术的基本思想:通过物体发射射线,该射线可以与场景中所有安装了碰撞器的设备发生碰撞,并返回碰撞信息[14]。Ray-Sphere检测和Ray-Box检测是常用的射线碰撞检测模型。
自动化开采过程中,采煤机滚筒与液压支架的护帮板之间容易发生碰撞,影响设备的正常运行以及现场操作人员的安全[16]。以滚筒和护帮板之间的位姿关系为研究对象,分析2个对象的结构特征和运动特点,假设在理想状态下所有零部件均为刚体,不考虑其发生的弹性形变,忽略所有部件之间的连接间隙。以Ray-Box射线碰撞检测模型为理论基础,建立滚筒-护帮虚拟射线碰撞检测模型,对设备的运动状态进行实时监测,从而保障采煤机与液压支架的正常运行。
在虚拟场景中建立笛卡尔坐标系,Unity中惯用左手坐标系,如图2所示,采煤机顶板中心O0为全局坐标系{O0}的原点,其中X轴为采煤机牵引方向,Y轴垂直指向顶板方向,Z轴为工作面推进方向。O1为采煤机滚筒的重心,在护帮板底端取2个极限点O2、O3为射线原点,向滚筒不断发送射线进行碰撞检测。
图2 虚拟坐标系示意
Fig.2 Virtual coordinate system
采煤机工作时通常具有牵引方向和工作面推进方向2个方向的运动,确定采煤机运行姿态,进而计算出采煤机滚筒自动调高位置。如图3所示。
图3 采煤机机身与滚筒几何关系示意
Fig.3 Schematic of geometric relationship between body and drum of shearer
滚筒目标点O1可表示为
(1)
式中:l、d、h分别为采煤机机身长、宽、高;l1为摇臂长度;d1为摇臂与机身连接部长度;R为滚筒半径;θ为采煤机摇臂抬升角度。
以采煤机中心位置为参考点,规定任一液压支架在X轴方向相对于采煤机中心距离为ΔPi,ΔPi由综采设备结构布置参数以及综采工艺参数确定。液压支架在实际工作中是通过立柱的伸缩控制液压支架的工作高度来适应顶板的变换,进而改变目标点在Y轴方向的运动。
根据液压支架跟机联动规则,如图4所示,建立液压支架与采煤机联动的几何模型,其中l2、l3、l4、l5分别为后连杆、掩护梁、顶梁和护帮板的长度;α为后连杆的倾角;β为掩护梁倾角;γ为顶梁倾角;δ为护帮板与煤壁之间的夹角;d2为护帮板宽度;d3为采煤机到液压支架后连接处的距离。
图4 液压支架运动示意
Fig.4 Motion schematic of hydraulic support
其中,已知各连杆的结构参数以及角度α和δ,根据文献[17]的姿态解析方法,计算出掩护梁倾角β,顶梁倾角γ,护帮板上的2个目标点O2、O3可以表示为
(2)
(3)
综上所述,滚筒与护帮射线碰撞检测的碰撞区域为
(4)
(5)
碰撞检测系统中,若射线上任一点的坐标满足式(4)、式(5)中的约束条件DO1O2、DO1O3,则可判断射线与碰撞体相交,通过计算射线起点到交点的距离确定射线长度即设备间的距离D,将所求碰撞距离与系统确定的预设距离阈值进行比较,即可完成采煤机滚筒与液压支架护帮板的碰撞检测。
首先在虚拟交互平台中,完成井下综采工作面的虚拟场景搭建和虚拟三机设备的建模、渲染、装配[18],如图5所示。
图5 煤矿虚拟综采工作面
Fig.5 Virtual fully-mechanized mining face in coal mine
静态虚拟巷道等建筑物模型添加静态碰撞器(Static Collider),运动的“三机”设备模型添加刚体碰撞器(Rigidbody Collider),防止运动的对象穿过静态建筑物。物理模拟过程中,若2个添加了碰撞器的刚体相互撞在一起,物理引擎会计算碰撞,得到碰撞信息。如图6所示,本系统研究中采用盒形碰撞器来保证综采设备间碰撞检测的实时性和准确性。
图6 虚拟射线碰撞检测原理
Fig.6 Principle of virtual ray collision detection
系统采用Ray射线类和RaycastHit光线投射碰撞信息类。发射射线时通常有2种情况:①沿矢量方向发射1条可以和碰撞器碰撞的射线,可通过Physics.Raycast静态函数实现;②针对于屏幕上的某一固定点发射射线,可以通过ScreenPointToRay或ViewportPointToRay两种API函数来实现。这些虚拟射线类似于无形的反射直线,碰到第1个带碰撞器的对象就停止发射,并反馈检测到的碰撞信息。
综采工作面“三机”设备的虚拟射线碰撞检测实际为各碰撞器间的相交测试。设备运行过程中,通过碰撞体间发射的光线,实时监测目标对象间的碰撞区域。具体的碰撞检测与预警流程如图7所示。
图7 碰撞检测与预警流程
Fig.7 Collisiona and detection warning flow
根据工况需求,在每一组可能发生碰撞的刚体之间设定阈值界限Dmax、Dmin。当综采设备启动时,虚拟交互界面出现GUI窗口实时显示设备之间的距离D,同时系统开始判断设备间距离D与Dmax、Dmin之间的位置关系:
1)当D>Dmax时,机器运作正常,设备间的相对距离D处于安全范围,GUI提示窗口不出现。
2)当Dmax>D>Dmin时,设备间距D进入预警区域,预警检测模块会发出警报,操作界面出现GUI提示窗口显示相应的碰撞信息(碰撞对象、碰撞距离等),提醒操作人员设备即将发生碰撞,需通过人为干预调整各个设备的运动状态,使得设备间处于合理位置。
3)当D<Dmin时,设备之间的距离界限进入危险区域,设备之间很可能会发生碰撞,此时需要进行碰撞检测。若系统判定设备间发生碰撞将立即采取紧急制动,若未发生碰撞此时需要进行碰撞对象的位姿计算,根据计算结果调整各个设备的运动状态,使设备间处于安全的相对位置。
为验证构建的滚筒-护帮射线碰撞预警检测模型及算法,以实验室现有的煤矿综采工作面“三机”设备模拟试验平台(1∶4缩小)为依托(图8),搭建了煤矿综采工作面虚拟仿真与远程控制系统。
图8 煤矿综采工作面设备模拟试验平台
Fig.8 Simulation experiment platform of equipment in fully-mechanized coal face
试验中,三菱FX3U-64M型PLC控制器将采集的表1中工况传感器数据,通过工业以太网传输到虚拟现实交互平台,对虚拟设备的位置和姿态进行实时修正,实现“虚实同步”控制。虚拟现实交互平台将采集到的传感器位姿数据与笔者建立的射线碰撞检测模型相结合,在虚拟场景中对滚筒和护帮的相对位置进行监测,虚拟碰撞检测模块将检测结果与设定阈值界限Dmax=450 mm,Dmin=250 mm进行对比,实现滚筒-护帮间虚拟射线碰撞预警检测。
表1 主要传感器及技术参数
Table 1 Main sensors and technical parameters
传感器型号检测精度检测对象惯性测量单元AH106B-MEMS0.2(°)/S采煤机机身双轴倾角传感器LCA320T-30-V10.2°采煤机机身绝对值编码器CHA38MS4-500/0-5V-240.1%FS采煤机摇臂拉绳位移传感器WPS-XS0.15%FS液压支架
试验模拟自动化采煤过程,对采煤机滚筒和液压支架间的碰撞情况进行监测。采煤机从1号液压支架左牵至12号液压支架,系统监测左滚筒与护帮板之间的碰撞距离。试验过程如图9所示,通过虚拟监控界面可以直观读取到“三机”设备当前的运动状态,滚筒与最邻近液压支架护帮板之间的碰撞距离以及采煤机在整个工作面的位置。采煤机右牵时系统监测右滚筒与护帮板之间的距离,试验过程如图10所示。试验共模拟了3组单向割煤过程,在采煤机上行与下行时分别随机选取18个采样点进行数据采集与分析,将采集到的虚拟射线检测值与实际测量采样点值相比较,对虚拟射线碰撞检测方法的可靠性进行验证。
图9 采煤机左牵试验过程
Fig.9 Test process of left pulling of coal shearer
图10 采煤机右牵试验过程
Fig.10 Test process of right pulling of coal shearer
图11、图12试验结果表明:虚拟射线检测值与实际测量值的曲线变化趋势一致,以实际测量值作为参考标准,采样点中虚拟射线检测值的最大误差为49.8 mm;在右牵过程中第12个采样点,采煤机右滚筒与4号液压支架护帮板之间的碰撞距离小于预设阈值Dmin,发生预警报警。
图11 采煤机左牵过程采样数据
Fig.11 Sampling data of left pulling process of shearer
图12 采煤机右牵过程采样数据
Fig.12 Sampling data of right pulling process of shearer
对试验过程及结果进行分析,基于VR的设备间碰撞检测系统误差主要来自传感器测量误差和“三机”3D建模误差2个方面。由表1可知,试验平台中采用的拉绳位移传感器、MEMS惯性测量单元等传感器检测精度不高,这些传感器测量误差作为碰撞检测算法的输入,对检测结果有较大影响;该平台的“三机”设备建模数据来自测量数据,导致虚拟设备与真实设备间存在一定的误差,从而影响碰撞检测的算法精度。另外层次包围盒的选取细分精度对检测结果也有影响。下一步研究中根据传感器误差范围,通过改进碰撞检测模型和传感器误差补偿算法,量化该方面的测量误差,提高测量准确性。
1)提出了一种煤矿综采设备碰撞虚拟检测与预警监测方法,对基于虚拟现实技术的盒型碰撞体和射线检测技术进行研究,将其用于煤矿综采工作面设备群异常位姿检测,搭建试验平台对采用该技术的工作面设备位姿进行位置检测和异常预测测试。
2)详细说明了煤矿综采设备远程控制过程中虚拟碰撞检测与预警监测的总体方案与实现方式。
3)以采煤机滚筒和液压支架护帮板之间的碰撞检测为例,根据采煤工艺对采煤机和液压支架之间的运动姿态进行详细分析,建立了滚筒-护帮碰撞检测数学模型,应用虚拟射线和包围盒碰撞器快速高效地实现了虚拟综采工作面的碰撞检测与预警监测。
4)搭建综采设备虚拟远程控制平台,在模拟割煤过程中对笔者提出的碰撞虚拟检测与预警方法进行了试验验证,试验过程中的最大误差49.6 mm,已经满足了开采过程中的精度要求。
5)综上所述,采用虚拟现实技术可以实现煤矿井下设备群的异常位姿监测和碰撞检测,有望解决综采工作面设备群远程监测与控制中的异常自动报警和碰撞预警。
[1] 王国法,杜毅博.智慧煤矿与智能化开采技术的发展方向[J].煤炭科学技术,2019,47(1):1-10.
WANG Guofa,DU Yibo.Development direction of intelligent coal mine and intelligent mining technology[J].Coal Science and Technology,2019,47(1):1-10.
[2] 张 帆,闫秀秀,李亚杰.基于稀疏度自适应的矿井智能监控图像重构方法[J].煤炭学报,2017,42(5):1346-1354.
ZHANG Fan,YAN Xiuxiu,LI Yajie.A novel image reconstruction method of mine intelligent surveillance based on adaptive sparse representation[J].Journal of China Coal Society,2017,42(5):1346-1354.
[3] LI J,GAO B,GUO S.Design of collision detection algorithms and force feedback for a virtual reality training intervention operation system[C].IEEE International Conference on Robotics & Biomimetics,Zhuhai,2016.
[4] 耿 宏,高璐璐.面向飞机虚拟维修的改进混合层次包围盒碰撞检测算法[J].科学技术与工程,2018,18(21):63-68.
GENG Hong,GAO Lulu.Improved hybrid hierarchical bounding box collision detection algorithm for aircraft virtual maintenance[J].Science Technology and Engineering,2018,18(21):63-68.
[5] 居鹤华,冷 舒.利用虚拟传感器的巡视器机械臂碰撞检测算法[J].哈尔滨工业大学学报,2016,48(1):58-65.
JU Hehua,LENG Shu.A collide detection algorithm based on virtual sensors of lunar rover manipulator[J].Journal of Harbin In statute of Technology,2016,48(1):58-65.
[6] 张旭辉,董润霖,马宏伟,等.基于虚拟现实的煤矿救援机器人远程控制技术[J].煤炭科学技术,2017,45(5):52-57.
ZHANG Xuhui,DONG Runlin,MA Hongwei,et al.Study on remote control technology of mine rescue robot based on virtual reality[J].Coal Science and Technology,2017,45(5):52-57.
[7] JAN Guhl,JOHANNES Hugle,JORG Kruger.Enabling-human-robot-interaction via virtual and augmented reality in distributed control systems[J].Procedia CIRP,2018,76:167-170.
[8] 张旭辉,王妙云,张雨萌,等.数据驱动下的工业设备虚拟仿真与远程操控技术研究[J].重型机械,2018(5):14-17.
ZHANG Xuhui,WANG Miaoyun,ZHANG Yumeng,et al.Virtual simulation and remote control technology with data-driven for industrial equipment[J].Heavy Machinery,2018(5):14-17.
[9] 张旭辉,陈 利,马宏伟,等.煤矿掘进机器人虚拟仿真与远程控制系统[J].工矿自动化,2016,42(12):78-83.
ZHANG Xuhui,CHEN Li,MA Hongwei,et al.Virtual simulation and remote control system for coal mine roadheader robot[J].Industry and Mine Automation,2016,42(12):78-83.
[10] 曲慧雁,赵 伟,秦爱红.基于优化算子的快速碰撞检测算法[J].吉林大学学报:工学版,2017(5):1598-1603.
QU Huiyan,ZHAO Wei,QIN Aihong.A fast collision detection algorithm based on optimization operator[J].Journal of Jilin University:Engineering and Technology Edition,2017(5):1598-1603.
[11] 刘晓平,张迎凯,谢文军,等.面向角色动画的Sphere-OBB包围盒快速碰撞检测算法[J].系统仿真学报,2014,26(7): 1535-1540.
LIU Xiaoping,ZHANG Yingkai,XIE Wenjun,et al.Collision detection algorithm based on sphere-OBB bounding box for character animation[J].Journal of System Simulation,2014,26(7):1535-1540.
[12] CHOI A Ram,KIM Sung Min,SUNG Mee Young.Controlling the contact levels of details for fast and precise haptic collision detection[J].Frontiers of Information Technology & Electronic Engineering,2017,18(8): 1117-1130.
[13] 张瑞清.水电站设备虚拟检修仿真中混合碰撞检测算法的研究[J].自动化技术与应用,2018,37(1):19-21,28.
ZHANG Ruiqing.Study on hybrid collision detection algorithm in virtual maintenance simulation of hydropower station equipment[J].Techniques of Automation and Applications,2018,37(1):19-21,28.
[14] 朱希安,徐宇翔.基于射线的虚拟手动态碰撞检测算法[J].北京信息科技大学学报:自然科学版,2015(2):20-25,31.
ZHU Xi’an,XU Yuxiang.Dynamic collision detection algorithm of virtual hand based on ray[J].Journal of Beijing Information Science & Technology University:Nature Science Edition,2015(2):20-25,31.
[15] 杨壹斌,李 敏,解鸿文.基于Unity3D的桌面式虚拟维修训练系统[J].计算机应用,2016,36(S2):125-128.
YANG Yibin,LI Min,XIE Hongwen.Desktop virtual maintenance training system based on Unity3D[J].Journal of Computer Applications,2016,36(S2):125-128.
[16] QI Ailing,WANG Huan,WU Haiyan,et al.Research on the collision detection technology of coal-cutting machinery in remote virtual control[J].Applied Mechanics and Materials,2015(3):863-866.
[17] 谢嘉成,杨兆建,王学文,等.虚拟现实环境下液压支架部件无缝联动方法研究[J].工程设计学报,2017(4):373-379.
XIE Jiacheng,YANG Zhaojian,WANG Xuewen,et al.Research of seamless linkage method for hydraulic support components under VR environment[J].Chinese Journal of Engineering Design,2017(4):373-379.
[18] QI Ailing ,KANG Wenhui ,WANG Huan,et al.Study on realization technology of virtual reality for coal mining face[C].2016 IEEE International Conference on Information and Automation(ICIA),Ningbo,2017.