虚拟现实技术在煤矿领域的研究现状及展望

谢嘉成1,2,王学文1,2,李 祥1,2,杨兆建1,2

(1.太原理工大学 机械与运载工程学院,山西 太原 030024;2.煤矿综采装备山西省重点实验室,山西 太原 030024)

针对国内外煤矿领域虚拟现实研究大多是局部或单向性研究,整合各阶段、各领域、各环节进行综合性研究且获重大突破的极其缺乏的实际情况,在概述国内外虚拟现实技术在煤矿虚拟场景仿真、虚拟现实监测监控、虚拟规划方法和“VR+AR”技术融合设计等应用领域的研究现状基础上,剖析了其在应用中存在的困难和问题,明确提出了虚拟现实技术应整合多技术手段进行融合设计,并实施“四步走”战略,即首先解决在技术培训、数据可视化分析、虚拟规划等方面的问题;其次是解决整个生产过程中的虚拟监测监控问题;再其次是利用以上成果加上创新突破实现矿山智能装备虚拟设计,特别是突出虚拟设计和多环节的融合交互关联,把智能操控平台高度集成到整个生产操控中,最终真正实现高智能、自关联、绿色化,高效率无人值守的目的。

关键词虚拟现实;煤炭工业;虚拟监测监控;虚拟规划;场景仿真;煤矿智能化

0 引 言

随着“工业4.0”、“中国制造2025”和“互联网+”战略的持续推进和纵深拓展,智能化开采等先进技术已与传统煤矿领域相互渗透并进而呈现出全新的融合态势,高智能、自关联、绿色化,高效率无人值守的趋势愈加突显。国家中长期发展战略中也愈来愈重视装备制造业的高智能、全自动、无人化发展规划[1]。“中国制造2025”更是制定了明确的时间表和路线图,虚拟现实技术成为智能制造核心技术的关键技术的重要组成部分,VR+技术融合数字双胞胎技术边将实现与现有装备对接[2]

在煤炭领域,虚拟现实技术由于具备先天的沉浸性、交互性,也越来越受到重视并在局部开展了试验性应用,取得了较多的研究成果,包括煤矿虚拟现实场景仿真、教育培训、煤矿装备虚拟现实监测监控虚拟规划和“VR+AR”技术融合设计等方面。但和其他工业领域应用相比,在深度和广度上还有较大迟滞甚至落后,离真正的工业化应用还有相当大的距离。笔者对现阶段虚拟现实技术发展进行对比后,结合虚拟现实技术在其他通用领域中的应用,对VR技术为何未在煤矿生产领域广泛应用的原因及问题进行分析,试图引出新的思考和探索,以及对未来发展趋势的方向性判断。

1 煤矿虚拟现实培训和教学应用现状

虚拟现实技术已经广泛应用于煤矿培训教学领域,取得了很大的应用价值。

在国外,TICHON等[3]将虚拟现实应用于矿工安全培训演练,有效提升了矿工的安全意识水平。PEDRAM等[4]利用虚拟现实技术对井下工作风险进行评估。Foster等[5]利用虚拟现实技术对矿工在井下自由驾驶车辆的人机工程学问题进行研究。STOTHARD等[6]将虚拟现实技术与可持续采矿的概念相结合,基于真实地质数据在一个巨型屏幕上可视化和模拟一个巨大的矿场,取得了良好的教学效果。STOTHARD等[7]对虚拟现实采矿模拟技术的发展进行了探讨,认为应在模拟器中更多的考虑人为因素。AKKOYUN等[8]基于完整的仿真数据,建立了一个交互式的采矿工程相关专业教与学的可视化环境。TORANO等[9]利用在井下获得的大量数据,将虚拟现实技术与有限元分析技术相结合运用于长壁采煤工作面顶板支护性能的研究,可视化地向用户展示了整个顶板运行的行为过程。

在我国,毛善君等[10]提出了煤矿虚拟环境系统的总体设计方案,初步设计了一个煤矿虚拟环境系统的原型系统。文献[12-13]利用MultiGen Creator和Vega等虚拟现实仿真与建模软件,用三维立体的方式展示长壁综采工作面的运行流程,并能使用户完成一些如漫游、设备操作等简单的交互功能。孙海波[14]对虚拟采煤机模型优化、采煤虚拟场景建立、采煤机运行行为和人机交互界面进行了深入研究。文献[15-16]对在综采虚拟场景中添加在线数据进行研究。徐雪战[17]将建立的虚拟综采系统在某煤矿进行成功应用,表明虚拟现实技术确实可以有效减少矿工的安全培训时间,并减少相关成本。文献[18]搭建了采掘运装备虚拟现实环境,利用多种人机交互手段,进行了煤矿装备虚拟装配与场景仿真方面的研究。

以上进行培训与教学方面应用的综采虚拟现实仿真大都是在ProE、UG等CAD建模软件和3D MAX等艺术性建模软件中建立模型,并进行中间格式的转换,依托OSG、Quest3D和Unity3d等虚拟仿真软件,编写相关运行脚本和进行界面设计,实现对整个综采工作面的实景再现。

2 煤矿虚拟现实监测监控技术及应用现状

近年来,随着虚拟现实技术的不断进步与成熟,虚拟现实技术逐渐被应用于综采监测监控领域,依靠虚拟画面模型变化来实时反映综采工作面实际的运行状态,进而实现稳定可靠、界面直观的远程监测和控制。并可根据其当前运行位姿和状态,进行故障预判。也可适时调整系统运行参数,进行必要的远程人工干预,达到临场式控制与调度的效果。肖雅静等[19]利用VR技术做了一些试验和尝试,证明其对提高生产效率、减少工作人数和降低事故发生率及危害性,有着极其重要的作用。因此,将虚拟现实技术应用于综采装备监测监控领域[20],很有必要,也非常及时。

在综采装备虚拟监测监控技术的运用手段上,主要依赖Virtools、EON和Unity3d等虚拟现实操作平台而进行设计、整合和创新研究。表1是VR软件在虚拟监测监控方面的研究动态,从所使用的软件平台、监测对象、信号采集与传输等7个方面进行对比。

在国内,最早进行综采工作面虚拟现实监测的研究主要利用Virtools软件。但其监测对象主要局限在采煤机或液压支架单机。利用其与数据库现成的接口进行连接,进行了理论探索,并未进入工业试验阶段。由于该软件网络功能受限,且多年前就停止更新升级,因此逐渐被使用者淘汰。

表1 近年来综采工作面虚拟现实监测监控研究现状
Table 1 Research status of virtual reality monitoring and control in fully-mechanized coal mining face in recent years

作者软件对象信息采集与传输关键技术及方法及实现功能数据库试验SUN[21]Virtools采煤机采煤机远程监控系统关键参数实时归档;采煤机三维模型细节构建;采煤机三维信息化监控系统SQLSever实验室闫海峰[22]Virtools液压支架位移、接近、压力、倾角等传感器虚拟监控系统逻辑分层结构,能够完成支护状态评估、故障预测、三维虚拟显示等功能SQLServer实验室陈占营等[23]EON Pro液压支架姿态信息;VC6.0支撑掩护式液压支架运行学求解计算;虚拟模型建立与转换;实时传感信息采集与连接无理论探索崔科飞等[24]EON液压支架姿态、压力信息;采煤机位置信息实时数据与虚拟软件连接原理;虚拟监测与视频监控、组态监控等相结合进行界面设计无理论研究李昊等[25]Unity3d三机传感信息全覆盖;井下通信网络总体系统结构、功能设计;实时数据与虚拟软件连接技术、监控系统编程框架设计无理论研究李阿乐等[26]Unity3d三机综采装备位姿等信息全覆盖模型优化与转换;脚本编程;实时传感器信息无线采集;虚拟监控软件与数据库的交互方法Access理论研究吴海雁等[27]Quest3D采煤机位姿与工况等信息全覆盖;PLC虚拟采煤机建模、渲染、虚拟行为编程;Quest3D软件与MySQL的连接;虚拟模型驱动技术MySQL实验室张登攀等[28]WPF软件三机综采装备位姿等部分信息模型建立、优化与转换;模型脚本编程;虚拟监控软件与数据服务器的交互方法数据服务器理论研究

EON软件简洁快速易上手,成为当时一些研究者使用的热门软件。但其缺点主要是软件和数据库连接较为不便,在组织大型场景制作上存在严重缺陷,因此也逐渐被学者放弃。

也有部分学者尝试利用Unity3D、Quest3D和WPF等软件进行综采虚拟现实监测的探索。其中Unity3D专业性很强,操作相对便捷,引入煤矿开采领域进行虚拟现实设计,可以说适得其时,意义不凡。

学者们利用Unity3D进行虚拟现实监测研究,实现了从单机研究过渡到三机协同研究,进入了数据与虚拟状态同步阶段,且实现了数据库的共享与读取顺捷流畅。不足的是,与实际工况联系相对脱节,衔接性有待加载现场数据并进行深度试验后方可得出结论。加上实际工况下的三机监测的特殊性与复杂性,真正实现顺畅加载的难度还是比较大的。

但是,这些都无法掩盖Unity3D的综合比较优势,原因如下:

1)功能优势明显,利于灵活开发,对一些功能复杂、场景切换较多的产品易于编写和呈现。

2)渲染效果出色,画质细腻优美,足可以满足虚拟监测的视觉品质需求。

3)技术路径快捷,展示功能出色,便于将设计理念转化为三维图形展示。

4)数据调用快速,交互功能突出,当频繁调用数据库时,相较其他软件优势非常明显,且交互影响极小。

5)拓展性能良好,升级支持到位,可简便快捷地发布到 Web、ios、android等平台上。

3 煤矿装备虚拟规划方法

关于综采工作面三机运行规划方面的研究,主要有樊启高[29]搭建了半仿真综采工作面三机运行试验台,并对三机协同各限制因素约束等关系进行研究,利用通用部分全局规划理论对各关键要素进行仿真,但其建立的模型考虑因素较为单一,也无法准确地控制规划过程,更好地展现规划结果。

针对这一问题,虚拟现实技术是一个潜在的解决方案。将VR仿真技术与规划理论与方法进行有机结合,建立装备运行的一些规律模型,输入不同参数进行仿真,将整个规划过程动态可视化地展现在设计人员面前,无疑将更好地服务整个规划过程。目前,一些学者已经基于Unreal、OpenGL和Unity3D等虚拟仿真软件,建立了针对各自行业应用的USARDim[30]、Delta3D和V-REP[31]等可视化仿真环境,并能基于不同规划初始条件进行预演。其中,Unity3D软件应用最为广泛。LEE等[32]建立了一个包含智能家居的各种传感器的可视化仿真规划环境,不同测试者按照自己习惯安装传感器并进行仿真评估;CHRISTIAN等[33]建立了一个模拟几百名机场乘客寻路行为的三维(3D)多智能体系统,用户能配合头戴式显示器进行参与规划。HU等[34]等建立了一个多人可以实时协同操作多飞机的进行路径规划3D仿真系统。

XIE等[35]建立了综采工作面三机协同规划虚拟环境,可对三机关键参数(采煤机牵引速度、刮板输送机运量和液压支架跟机距离等)进行在线规划并调控,得出最佳参数匹配方式,为综采工作面的快速规划提供了理论基础。

4 煤矿“VR+AR”应用现状

AR技术在建筑、医疗、军事等方面已经进行了很多的具体应用,但在煤炭领域,AR技术研究还相对较少。

ZHANG S X [11]融合综采工作面图像与虚拟场景,合成动态图像,是VR+AR技术应用的典型例证,效果逼真到近乎真实的水平,但也让许多研究者对此望而却步。主要原因可能是AR技术必须有相对应的硬件设备作支持,比如佩带相应的AR眼镜、主机连接较为繁琐等,当其在实际井下应用时更为困难,但在煤矿培训方面还是大有潜力可挖的[36]

1)VR+AR综采工业巡检系统。将综采工作面巡检、流程、内容等信息,进行标准化编辑、排序形成规范的巡检流程,并利用AR智能眼镜,转化为可视化巡检流程,实时指引巡检人员完成标准规范的巡检工作。对巡检工作中所需主观判断的信息(如设备参数、运行状态参数等)进行自动识别,判断这些信息是否正常,并进行记录。

2)AR设备维修系统。将设备设计原理、结构展示、维修方案的名号进行可视化仿真,并迭代出工作原理。结合AR智能眼镜,可以将维修工作中每一步所设计的工具设备、设备部件以及相应的操作规范全部以虚拟影像的方式,叠加到真实设备之上。实现维修工作的“所见即所得”,从而更加直观高效快速地指导维修工作,提升效率,保证质量。

5 煤矿虚拟现实技术研究存在的问题

5.1 三机虚拟现实场景仿真存在的问题

在综采装备和场景虚拟现实仿真上,目前主要是针对安全培训和教学方面展开的研究,重点在模拟操作、场景和设备的仿真工艺和展示,存在问题非常明显:

1)研究深度不够,细节不完善。在液压支架四连杆运动,在刮板输送机的弯曲度和虚拟采煤机空间定位等问题上,没有实质性数字揭示,仅停留在动漫层面。

2)脱离实际环境,理想状态明显。未把实际工况条件下的复杂状态考虑进去,将底板状况设为水平,设备推进运行状态设为持续匀速等,严重脱离井下复杂多变的地理特征和设备的实际工作状态。

3)虚拟设备仿真不可控,仅是艺术性动画展示。

5.2 综采装备实际运行和虚拟监测监控之间存在的问题

监测监控的关键在准确,准确的关键在细节,细节的关键在数字化。做到精确性和真实感既有机结合又相互促进,目前看起来,存在问题还是十分突出:

1)实践性不强,实用性不够。虚拟现实不是动漫仿真,唯一目的是用于生产实践。可以从理想状态起步,但终点是服务于生产和效率。但目前监测监控的大多研究还停留在理想状态下,如水平底板、直线位移、匀速前进等,与三机工况监测和实际地理环境形成事实上的脱节。

2)单纯研究多,联动研究少。针对单机进行虚拟监测监控研究较多,对三机联动进行研究较少,形成了理论对理论的探索,试验性、实践性研究很少。

3)数据资源浅表化,深度挖掘待突破。如传感器得到的数据只是直接简单利用,存储、读取、优化和再利用严重缺乏,更未形成大数据模式进行智能、判断、选优模式。

4)试验研究少,数据采集单调。作为生产一线装备数字采集器的传感器布置严重不足,单纯增加传感器又未能解决服务器造成的压力大、画面卡顿等问题,数据来源单调且数量不足。

5)监测模式有缺陷,数字模型不成熟。监测监控模式尚未有很完善的方案,底层数学模型没有真正形成,在实际试验中,出现监测效果和实际工况不同的现象,出入大,实用性不强。

6)现有研究无法在装备上布置足够可以完全表达其姿态的传感器信息,不可能做到传感器信息与虚拟动作一一对应驱动,因此需要研究在较少传感器条件下,如何准确获取到更关键的每一设备真实运动状态进而驱动虚拟设备运行的方法。

5.3 综采工作面三机虚拟规划存在的问题

目前,关于综采工作面虚拟现实应用尚未达到较理想水平,原因主要有:

1)仿真参数未全面形成体系,仅以单一参数设置,根本无法全面仿真各复杂场景的逼真状态。

2)成熟的数学模型尚未形成,只能静态或单纯展示其工艺,真正把综采面真实的环境、设备的运行、相互的联动以及性能状态相互融合的状态整合成一个成熟的数学模型,还有许多关键技术有待研究。

3)基础数据无法导出,仿真过程动漫化,深层分析与决策欠缺。

4)融合性不佳,各设备之间、设备和环境之间的信息交互与关联性缺乏联动和融合。

基于以上4点原因,形成了仿真参数和真实设备参数之间的对应性差,关联性和融合度都明显不高。

6 煤矿领域虚拟现实技术发展与展望

目前国际国内在煤矿领域进行虚拟现实研究的大多是局部或单纯性研究,真正整合各阶段、各领域成果形成全局性研究的并不多,取得突破性的整体研究成果目前还尚未出现。因此如何整合局部研究成果并进而形成系统性的全局应用平台,显得十分紧迫。笔者认为应尽快制定国家层面的煤炭行业虚拟现实技术研究应用发展战略规划,并分4步实施推进:

1)强化各领域基础理论的融合研究,特别是技术培训的临场感、数据可视化的真实感和虚拟规划等相互间的关联、交叉、融合等课题研究。

2)强化全生产过程的虚拟监测监控研究,解决在各领域各环节的虚拟监测监控问题,为后2步提供基础支撑。

3)实施煤机全生命虚拟监控制造研究,解决煤机装备制造的虚拟设计,并形成成熟的智能装备制造体系。

4)实现透明无人开采研究,将井上井下之间、虚拟监测监控和现实生产之间、矿山整体控制和局部环节之间构筑完整全面的、易操控的智能平台,进而构建一个完美的透明化集采、运、提、选于一体的矿山透明无人值守高智能系统。

与上海洋山港、西门子公司为代表的其他通用无人化工厂方面取得的突出成绩相比,可以看到应用虚拟现实技术为煤矿装备服务仍有很多难题需要攻克,也有很大潜力需要进一步挖掘,主要在以下6个方面。

6.1 培训

1)提高虚拟环境与真实井下环境的一致性及对应性。

2)交互手段上,应将更多的虚拟现实人机交互手段和煤矿专用设备模拟试验台[37]融入培训中,便于更加接近现场真实感,切实提高实际操作能力。其中虚拟现实人机交互手段,包括虚拟手、立体头盔、体感交互设备等;煤矿专用设备模型试验台,包括集中控制中心操作台及按钮、采煤机控制器、液压支架电液控制器等。

3)应更多地引入局域网协同技术,进行类似综采班组多人协同培训操作。

4)在地面上建立试验系统,接入装备实时数据,进行基于真实数据与实际操作台的培训。或者在井下录制相应装备信号,存入数据库,然后驱动虚拟设备按照实际设备运行,节拍运行,进而提高培训的真实性。

5)VR与AR技术进行深度融合,进行虚拟画面与真实画面融合的培训。

6.2 实际工况虚拟场景仿真方面与计算等技术支持

1)首先应针对井下工况环境煤矿装备运行以及结合三维数字化顶底板进行仿真,这是虚拟现实监测与规划的仿真基础;必须完成采煤机虚拟空间定位、行走与记忆截割、刮板输送机三维空间形态布置与弯曲和真实地质数据驱动的煤层构建等。

2)虚拟现实仍然需要提供很多技术支持,比如在监测与计算方面,应该深度挖掘其潜力;主要思路是对不同工况条件下的研究内容进行可视化仿真,主要方法为基于数学模型编译的VR软件,进而利用VR软件进行仿真输出理论曲线,再进行物理试验验证数学模型的正确性。

6.3 虚拟现实规划方面

虚拟现实规划方法的目的是为了快速预选装备,并可进行预演、模拟,同时进行新的规划,达到在装备选型设计阶段即可提前发现与预判装备运行中可能遇到的各种问题。

1)应进一步加强煤矿装备数字化设计水平,建立一系列参数化三维模型产品库,可随时调用各种采煤机、液压支架和刮板输送机模型资料。

2)应进一步将现有综采装备选型方法与虚拟规划方法进行融合,利用三维模型产品库,对相关产品进行快速选型,并进行虚拟规划。

3)应进一步将实际工况虚拟场景仿真技术应用于虚拟规划,建立可靠的GUI界面与接口,满足用户对规划的输入要求。

6.4 虚拟现实监测监控

充分挖掘虚拟现实技术在大型复杂工况条件下的运用潜力,建立数据接口,实现控制联动,做到透明开采与精准开采。

1)突破“信息采集+数据存储+网络协同+底层计算+虚拟现实”的多软件实时在线耦合问题,实现监测数据与虚拟画面的实时融合。

2)基于C/S架构,采用局域网协同方式,解决综采全景VR监测传感器节点信号多所导致的服务器数据压力大、画面卡顿等问题。

3)底层嵌入数据分析服务器,对历史数据进行分析、挖掘和预测,并能将结果显示在监测画面中,为综采全景VR监测提供可靠的分布式计算解决方案。

6.5 煤机装备制造的虚拟设计方面

1)基于“数字双胞胎”理论,将嵌入式传感器融入煤机装备的全生命周期过程中,借助5G等传输网络与北斗卫星导航,将装备状态与虚拟镜像实时保持同步,煤机装备制造企业实时同步获取运行数据,实现设备自诊断与维护。

2)将现有虚拟数字化设计成果应用于煤机装备生产制造过程中,更好地为生产服务。

6.6 透明采煤方面

1)构建虚拟现实环境下综采工作面装备、数字化顶底板及地理环境虚拟镜像与模型,将三机装备在一个和多个采煤循环内的连接关系,以及三维地理环境的内在动态耦合关系真实地呈现在虚拟画面中。

2)进行“全面实时感知工作面装备及地理环境”的关键技术与基础理论研究,建立稳定可靠的工作面远程透明监控系统。

7 结 论

1)随着我国煤炭工业进入高质量转型发展期,必将对煤炭装备制造提出越来越高的要求,虚拟现实技术也将借助智能制造与更先进的技术形成融合之势,引发全新的革命性突破,定将持续大力度促进我国能源技术突飞猛进。

2)概述了目前国内外虚拟现实技术在煤矿领域的研究现状,剖析了其在应用中存在的困难和问题,认为应该加快研究进程,实施齐头并进或多步快走的策略,整合多技术手段进行融合设计。提出虚拟技术的突破和融合,是实现煤炭智能绿色开采的重要途径。特别是在基础理论研究、全生产过程的虚拟监测监控研究、煤机全生命虚拟监控研究以及透明无人开采研究等方面要加大力度,强力推进,最终实现真正无人值守高智能生产。

3)提出了我国煤炭领域虚拟现实研究未来发展路径的粗略规划和较为具体的逻辑分类。提议尽快制定更高层面的发展战略规划,集中国内煤机领域优势力量,协同攻关,为实现我国煤矿领域的“中国制造2025”战略规划做出积极贡献。

参考文献:

[1] 韩建国.神华智能矿山建设关键技术研发与示范[J].煤炭学报,2016,41(12):3181-3189.

HAN Jianguo.Key technology research and demonstration of smart mines in Shenhua Group [J].Journal of China Coal Society,2016,41(12):3181-3189.

[2] 工信部.以VR为产业抓手,引导推进VR+发展[EB/OL].[2018-09-02].http://www.sohu.com/a/203722493_373714.

[3] TICHON J,BURGESSLIMERICK R.A review of virtual reality as a medium for safety related training in mining[J].Journal of Health & Safety Research & Practice,2011,3(1):33-40.

[4] PEDRAM S,PEREZ P,PALMISANO S.Evaluating the inuence of virtual reality-based training on workers' competencies in the mining industry[C].13th International Conference on Modeling and Applied Simulation,Red Hook,New York,United States:Curran.MAS,2014.

[5] FOSTERP J,BURTON A.Modelling potential sightline improvements to underground mining vehicles using virtual reality[J].Transactions of the Institution of Mining & Metallurgy,2013(115):85-90.

[6] STOTHARDP,LAURENCE D.Application of a large-screen immersive visualization system to demonstrate sustainable mining practices principles[J].Transactions of the Institution of Mining & Metallurgy,2014,23:199-206.

[7] STOTHARDP,SQUELCH A,STONE R,et al.Taxonomy of interactive computer-based visualization systems and content for the mining industry-part 2[J].Mining Technology,2015,124(2):83-96.

[8] AKKOYUNO,CAREDDU N.Mine simulation for educational purposes:a case study[J].Computer Applications in Engineering Education,2015,23(2):286-293.

[9] TORAOJ,DIEGO I,MenéNdez M,et al.A finite element method (FEM) - Fuzzy logic (Soft Computing) - virtual reality model approach in a coalface longwall mining simulation[J].Automation in Construction,2008,17(4):413-424.

[10] 毛善君,熊 伟.煤矿虚拟环境系统的总体设计及初步实现[J].煤炭学报,2005,30(5):571-575.

MAO Shanjun,XIONG Wei.Design and primary implementation of coal mine virtual environment system[J].ournal of China Coal Society,2005,30(5):571-575.

[11] ZHANGS X.Augmented reality on longwall face for unmanned mining[J].Applied Mechanics & Materials,2010,40 (6):388-391.

[12] ZHANGX,AN W,LI J.Design and application of virtual reality system in fully mechanized mining face[J].Procedia Engineering,2011,26(4):2165-2172.

[13] WANL R,GAO L,Liu Z H,et al.The application of virtual reality technology in mechanized mining face[J].Advances in Intelligent Systems & Computing,2013,181:1055-1061.

[14] 孙海波.采煤机3DVR数字化信息平台关键技术研究[D].徐州:中国矿业大学,2009.

[15] WAN Lirong,GAO Long,LIU Zhihai,et al.The application of virtual reality technology in mechanized mining face[J].Advances in Intelligent Systems & Computing,2013,181:1055-1061.

[16] TANG Shanshan,WEI Chaokun.Design of monitoring system for hydraulic support based on LabVIEW[J].Advanced Materials Research,2014,989:2758-2760.

[17] 徐雪战.基于三维可视化与虚拟仿真技术的综采工作面生产仿真研究[D].淮南:安徽理工大学,2015.

[18] 谢嘉成,杨兆建,王学文,等.采掘运装备虚拟装配与仿真系统设计及关键技术研究[J].系统仿真学报,2015,27(4):794-802.

XIE Jiacheng,YANG Zhaojian,WANG Xuewen,et al.Design and key technologies of virtual assembly and simulation of mining,driving and transporting equipment system [J].Journal of System Simulation,2015,27(4):794-802.

[19] 肖雅静,孟国营.梧桐庄矿数字化矿山工程建设与创新[J].煤炭科学技术,2016,44(7):129-134.

XIAO Yajing,MENG Guoying.Construction and innovation on digitalized mine engineering of Wutongzhuang Mine [J].Coal Science and Technology,2016,44(7):129-134.

[20] 张旭辉,董润霖,马宏伟,等.基于虚拟现实的煤矿救援机器人远程控制技术[J].煤炭科学技术,2017,45(5):52-57.

ZHANG Xuhui,DONG Runlin,MA Hongwei,et al.Study on remote control technology of mine rescue robot based on virtual reality [J].Coal Science and Technology,2017,45(5):52-57.

[21] SUN H B,DUAN X,YAO X G,et al.Study on three dimensional digital information platform for remote control and monitoring system of shearer[C]//Progress in Measurement and Testing—proceedings of 2010 International Conference on Advanced Measurement and Test,2010:586-591.

[22] 闫海峰.液压支架虚拟监控关键技术研究[D].徐州:中国矿业大学,2011.

[23] 陈占营,郑晓雯,陈静珊,等.基于虚拟现实的液压支架监测系统研究[J].煤矿机械,2015,36(9):88-90.

CHEN Zhanying,ZHENG Xiaowen,CHEN Jingshan,et al.Research on monitoring system for hydraulic support based on virtual reality [J].Coal Mine Machinery,2015,36(9):88-90.

[24] 崔科飞,崔建民.虚拟仿真技术在监控无人综采工作面的应用[J].煤矿机电,2014(3):114-116.

CUI Kefei,CUI Jianmin.Application of virtual simulation technology in monitoring on fully unmanned mechanized mining face[J].Colliery Mechanical & Electrical Technology,2014 (3):114-116.

[25] 李 昊,陈 凯,张 晞,等.综采工作面虚拟现实监控系统设计[J].工矿自动化,2016,42(4):15-18.

LI Hao,CHEN Kai,ZHANG Xi,et al.Design of monitoring and control system based on virtual reality technology on fully-mechanized coal mining face [J].Industry and Mine Automation,2016,42(4):15-18.

[26] 李阿乐,郑晓雯,唐 析.虚拟综采工作面三机运动状态监测系统研究[J].煤矿机械,2016,37(8):41-44.

LI Ale,ZHENG Xiaowen,TANG Xi.Research on monitoring system of movement state of three-machines in virtual fully mechanized face [J].Coal Mine Machinery,2016,37(8):41-44.

[27] 吴海雁,王天龙,张旭辉,等.基于Quest3D和PLC的采煤机远程监控系统[J].工矿自动化,2015,41(11):14-17.

WU Haiyan,WANG Tianlong,ZHANG Xuhui,et al.Remote monitoring system of shearer based on Quest3D and PLC [J].Industry and Mine Automation,2015,41(11):14-17.

[28] 张登攀,田振华,王东升.综采工作面三维在线监测系统研究[J].河南理工大学学报:自然科学版,2017,36(1):97-102.

ZHANG Dengpan,TIAN Zhenhua,WANG Dongsheng.Research on 3D online monitoring system of mechanized mining face [J].Journal of Henan Polytechnic University:Natural Science Edition,2017,36(1):97-102.

[29] 樊启高.综采工作面三机控制中设备定位及任务协调研究[D].徐州:中国矿业大学,2013.

[30] FREESEM,SINGH S,OZAKI F,et al.Virtual robot experimentation platform v-rep:a versatile 3d robot simulator[C]//International Conference on Simulation,Modeling,and Programming for Autonomous Robots.Springer,Berlin,Heidelberg,2010:51-62.

[31] LEWISM,WANG J,HUGHES S.USARSim:simulation for the study of human-robot interaction[J].Journal of Cognitive Engineering and Decision Making 2007(1):98-120.

[32] LEE W,CHO S,CHU P,et al.Automatic agent generation for IoT-based smart house simulator[J].Neurocomputing,2016,209:14-24.

[33] CHRISTIAN Becker-ASANO,FELIX Ruzzoli ,CHRISTOPH Hölscher.A multi-agent system based on unity 4 for virtual perception and wayfinding [J].Transportation Research Procedia,2014(3):452-455.

[34] HU Y,MENG W.ROSUnitySim:development and experimentation of a real-time simulator for multi-unmanned aerial vehicle local planning[J].Simulation,2016,92(10):931-944.

[35] XIE Jiacheng,YANG Zhaojian,WANG Xuewen,et al.A virtual reality collaborative planning simulator and its method for three machines in a fully mechanized coal mining face[J].Arabian Journal for Science and Engineering,2018,43(9):4835-4854.

[36] 曲金城,曹庆贵.AR技术在煤矿行业的应用研究与前景展望[J].内蒙古煤炭经济,2017(13):6-7.

QU Jincheng,CAO Qinggui.Application and prospect of AR technology in coal mining industry[J].Inner Mongolia Coal Economy,2017(13):6-7.

[37] 李 梅,孙振明,吕平洋,等.煤矿综采工作面多角色虚拟演练平台关键技术研究[J].煤炭科学技术,2018,46(1):156-161,223.

LI Mei,SUN Zhenming,LYU Pingyang,et al.Study on key technology of multiplayer virtual reality training platform for fully-mechanized coal mining face[J].Coal Science and Technology,2018,46(1):156-161,223.

Research status and prospect of virtual reality technology in field of coal mine

XIE Jiacheng1,2,WANG Xuewen1,2,LI Xiang1,2,YANG Zhaojian1,2

(1.College of Mechanical and Vehicle Engineering,Taiyuan University of Technology,Taiyuan 030024,China;2.Shanxi Key Laboratory of Fully Mechanized Coal Mining Equipment,Taiyuan 030024,China)

Abstract:From the domestic and international researches on virtual reality in the field of coal mine,it can be found that most of researches were local or simple research.The overall achievement which truly integrated the research achievements of all stages,fields and links and made a breakthrough had not yet appeared.This paper summarized the research status the applications of virtual reality technology in the field of coal mine,including the virtual scene simulation methods,the virtual reality monitoring and control methods,the virtual planning methods and the “VR+AR” fusion design methods.The difficulties and problems existing in its application were analyzed,and the fusion design the fusion design methed which integrated multi-technology should be addressed.Firstly,we should solve the problems in technical training,data visualization analysis,virtual planning.Secondly,the problem of virtual monitoring and monitoring in the whole process of production should be solved.Thirdly,the above achievements and innovative breakthroughs should be used to realize the virtual design of mine intelligent equipment,especially to highlight the integration and interaction of virtual design and multi-links.The intelligent control platform will be integrated into the whole production control process.Finally,the goal of high intelligence,self-correlation,green,high efficiency and nobody on duty can be realized.

Key words:virtual reality;coal industry;virtual measurement and monitoring;virtual planning;scene simulation;mine intelligentize

中图分类号TD679

文献标志码:A

文章编号:0253-2336(2019)03-0053-07

移动扫码阅读

谢嘉成,王学文,李 祥,等.虚拟现实技术在煤矿领域的研究现状及展望[J].煤炭科学技术,2019,47(3):53-59.doi:10.13199/j.cnki.cst.2019.03.007

XIE Jiacheng,WANG Xuewen,LI Xiang,et al.Research status and prospect of virtual reality technology in field of coal mine[J].Coal Science and Technology,2019,47(3):53-59.doi:10.13199/j.cnki.cst.2019.03.007

收稿日期2018-10-22;

责任编辑:赵 瑞

基金项目山西省回国留学人员科研资助项目(2016-043);山西省留学人员科技活动择优资助重点资助项目(2016年度);“十二五”山西省科技重大专项资助项目(20111101040)

作者简介谢嘉成(1989—),男,山西晋城人,讲师,博士。E-mail:tyutxiejiacheng@qq.com

通讯作者王学文(1979—),男,山西长治人,教授,博士生导师。E-mail:wxuew@163.com