高级检索

新疆地区不同岩性煤矸石重金属元素释放规律研究

李家新, 王文峰, 陆青锋, 车可心, 刘恒言

李家新,王文峰,陆青锋,等. 新疆地区不同岩性煤矸石重金属元素释放规律研究[J]. 煤炭科学技术,2023,51(S2):328−335. DOI: 10.13199/j.cnki.cst.2023-0142
引用本文: 李家新,王文峰,陆青锋,等. 新疆地区不同岩性煤矸石重金属元素释放规律研究[J]. 煤炭科学技术,2023,51(S2):328−335. DOI: 10.13199/j.cnki.cst.2023-0142
LI Jiaxin,WANG Wenfeng,LU Qingfeng,et al. Study on the release regularity of heavy metals from coal gangue with differentlithology in Xinjiang[J]. Coal Science and Technology,2023,51(S2):328−335. DOI: 10.13199/j.cnki.cst.2023-0142
Citation: LI Jiaxin,WANG Wenfeng,LU Qingfeng,et al. Study on the release regularity of heavy metals from coal gangue with differentlithology in Xinjiang[J]. Coal Science and Technology,2023,51(S2):328−335. DOI: 10.13199/j.cnki.cst.2023-0142

新疆地区不同岩性煤矸石重金属元素释放规律研究

基金项目: 

国家自然科学基金资助项目(U1903207,41972176);国家重点研发计划资助项目(2021YFC2902003)

详细信息
    作者简介:

    李家新: (1997—), 女, 河南洛阳人, 硕士。E-mail:LJiaxin0306@163.com

    通讯作者:

    王文峰: (1970—), 男, 安徽合肥人, 教授, 博士。E-mail:wenfwang@vip.163.com

  • 中图分类号: X752

Study on the release regularity of heavy metals from coal gangue with differentlithology in Xinjiang

Funds: 

National Natural Science Foundation of China(U1903207,41972176); National Key Researchand Development Program of China(2021YFC2902003)

  • 摘要:

    为了解新疆地区不同岩性煤矸石重金属元素释放规律和防范重金属元素产生的环境风险,采用皮里青矿区和五彩湾矿区未风化煤矸石,通过X射线衍射、X射线荧光光谱、电感耦合等离子体质谱仪测试手段研究煤矸石淋滤过程中V、Cr、Ni、Cu、Zn、Ba、Pb、Th、U重金属元素的释放规律。结果表明:① 煤矸石的矿物组成以高岭石和石英为主,黏土岩矸石矿物组成较为复杂,黏土矿物含量高;② 新疆砂岩和黏土岩矸石重金属元素Ni、Cu、Zn、Ba含量较高,砂岩矸石Ba元素含量为291.00 μg/g,黏土岩矸石中Ba含量最高为416.05 μg/g,煤矸石样品中元素含量高淋滤后元素释放量大; ③ 煤矸石重金属元素均在淋滤前期、中期释放较多,黏土矿物吸附作用是淋滤后期黏土岩矸石元素释放浓度降低的重要原因; ④ “缩核模型”显示不同岩性煤矸石重金属元素释放是多因素耦合作用的结果。元素淋滤结果环境效应评价表明,黏土岩矸石相比砂岩矸石潜在危害性更大,长时间、多期次的淋滤造成重金属元素累积效应值得关注。

    Abstract:

    In order to understand the release law of heavy metals in coal gangue with different lithology in Xinjiang and prevent and resolve the environmental risks caused by heavy metals. In this paper, the roof and floor coal gangue of Piliqing mining area and Wucaiwan mining area were used to study the release law of V, Cr, Ni, Cu, Zn, Ba, Pb, Th and U heavy metals in the leaching process by X-ray diffraction, X-ray fluorescence spectroscopy and inductively coupled plasma mass spectrometry. The results show that: ① The mineral composition of coal gangue is mainly kaolinite and quartz. ② The contents of heavy metals Ni, Cu, Zn and Ba in sandstone and clay rock gangue in Xinjiang are high. The content of Ba in sandstone gangue is 416.05 μg/g, and the content of V in clay rock gangue is up to 247.02 μg/g. The content of most elements in coal gangue is high and the release of elements is large after leaching. ③ The adsorption of clay minerals is an important reason for the decrease of element release concentration of clay rock gangue in the later stage of leaching. ④ The ‘shrinking core model’ shows that the release of heavy metals from coal gangue with different lithology is the result of multi-factor coupling. The environmental effect evaluation of element leaching results shows that clay rock gangue is more harmful than sandstone gangue, and the cumulative effect of heavy metals caused by long-term and multi-period leaching is worthy of attention.

  • 以煤为主的能源结构是我国的基本国情,当前我国煤炭工业正转向高质量发展阶段[1]。煤矿智能化则是煤炭工业高质量发展的核心技术支撑[2],旨在利用人工智能、大数据、机器人等技术手段,实现煤矿开拓、采掘(剥)、运输、通风、分选、安全保障、经营管理等过程的智能化运行,提升煤矿安全生产水平,促进煤炭安全稳定供应,保障国家能源安全。

    煤矿井下地质条件及现场工作状况复杂,不确定性高,危险系数大,因此,远离这种复杂环境、实现智能化无人操作,一直是国内外煤炭行业普遍的需求[3-4]。虽然目前我国煤矿对智能化开采的需求非常旺盛,相关研究者前期在智能化开采技术手段、解决方案方面做了大量探索[5-6],一些煤矿在煤炭智能化开采方面也进行了试验与生产,在综采工作面的安全保证、工程质量与作业效率方面得到了一定的提高,但是这离煤矿真正实现智能化、无人化的常态化应用还存在较大差距,主要原因是智能矿山建设相关的支撑理论和方法有待进一步突破和完善,而煤矿井下环境感知与计算理论和实践就是关键之一。

    机器视觉作为煤矿井下环境感知与计算的重要手段[7],已经在国内一些企业进行了部分产品的应用与推广,比如研发了煤矿掘进工作面危险区域标准化作业识别分析系统、提升机首尾绳视频智能检测系统、矿山区域限员视频智能监控系统、煤矿生产三违智能视频识别管理系统以及煤矿“电子封条”等;推出了基于端侧接入、边侧推理、云端管理一体化架构的煤矿人工智能(Artificial Intelligence,AI)视频识别系统,解决煤矿安全生产问题和提高煤矿生产效率。上述感知与计算系统主要是基于二维图像感知技术,在煤矿井下可控场景下得到了有效应用,但还需要深入探索适合光场分布多变、高湿高热、水雾粉尘多、狭窄长通道结构明显等煤矿复杂环境下的视觉计算理论与技术。

    首先围绕煤矿井下视觉计算的基本概念,比较分析计算机视觉与煤矿井下视觉计算的异同,总结提出煤矿井下视觉计算的组成架构体系。在此基础上,详细介绍煤矿井下视觉计算所涉及的视觉感知与增强、特征提取与特征描述、语义学习与视觉理解、三维视觉与空间重建、感算一体与边缘智能等关键技术,并简要介绍视觉计算在煤矿井下的典型应用案例,最后给出煤矿井下视觉计算的发展趋势和展望。

    人工智能专家David Marr首先提出了视觉计算理论[8],即视觉信息处理理论,设计了一个多级的、自下而上的视觉计算框架。2010年在David Marr遗作[8]再版时,David Marr当年的合作者Tomaso Poggio在上述视觉计算框架下补充了一个学习层,并认为学习是视觉计算高层表示中非常重要的成分。马颂德等[9]通过引进视觉系统与视觉环境和模型知识的交互作用、局部信息与整体信息的交互作用,构建了新的视觉计算理论框架。谢剑斌[10]将图像增强与分割、特征检测与描述、聚类处理、运动检测等归为视觉计算。

    Marr视觉计算理论的提出,标志着计算机视觉成为了一门独立的学科。从广义上说,计算机视觉就是“赋予机器自然视觉能力”的学科,而其本质上就是研究视觉感知问题[11]。根据Wikipedia的定义,视觉感知是指对“环境表达和理解中,对视觉信息的组织、识别和解释的过程”。因此,计算机视觉是以图像或视频为输入,以对环境的表达和理解为目标,研究图像或视频信息组织、物体和场景识别、进而对事件给予解释的学科。可见,计算机视觉是用计算机来模拟人的视觉机理和视觉信息处理的能力。

    矿井视觉计算的主要目标是针对矿井这一特定的应用领域,研究煤矿井下环境的感知、描述、识别和理解模型与框架,以使智能装备具有通过图像或视频感知煤矿井下三维环境信息的能力。矿井视觉计算对推动煤矿智能化高质量发展具有十分重要的理论意义,能够增强煤矿井下环境感知能力,促进煤矿安全生产与监管从二维感知时代进入三维感知时代,也将与传统采矿技术相结合开辟新的应用领域。

    当视觉计算应用到不同领域的时候,由于应用环境的差异,可能会涉及到多个不同的专业理论与技术。图1给出了矿井视觉计算的体系架构。这里,针对煤矿智能化应用,矿井视觉计算主要基于不同视觉传感器数据,构建煤矿井下感知、描述、识别和理解等计算模型,获取煤矿井下三维环境信息,主要涉及到煤矿井下视觉感知与增强、特征提取与特征描述、语义学习与视觉理解、三维视觉与空间重建等关键基础技术领域,以及相关模型在边缘端的应用技术,重点包括模型轻量化智能计算技术和数据协同边缘计算技术,在此基础上,进行智能识别与预警、定位与导航、远程临场感操控、增强/混合现实、平行智能采矿[12]等煤矿智能化应用。

    图  1  矿井视觉计算的体系架构
    Figure  1.  Architecture of vision computing for underground coalmine

    视觉感知技术作为计算机获取外部世界信息的重要方式,已经广泛应用到煤矿井下各种场景中。视觉传感器作为视觉感知的主要手段,已经逐渐成为煤矿生产生活的重要组成部分。但煤矿井下环境复杂,如图2所示,巷道空间狭长、光照不均衡、多粉尘水雾等干扰因素使得煤矿井下场景复杂多变,致使视觉传感器获得的视频图像质量较低,视觉效果差,不利于煤矿井下场景的视觉应用。

    图  2  煤矿井下部分场景
    Figure  2.  Underground coalmine environment

    针对煤矿井下复杂环境对视觉应用的影响,通常从2个方面来解决:①对采集的视频图像进行去噪、增强等预处理,提高视频图像的质量;②通过其它异构传感器来辅助视觉传感器,增强视频图像的表征信息。

    1)矿井图像增强。图像增强的定义非常广泛,简单来说,可以提高图像整体或局部区域质量,将不清晰的图像变得清晰或突出感兴趣的特征,从而有利于后续图像处理和提高视觉效果的方法都可称为图像增强方法。由于光照不均衡、多粉尘水雾、空间狭长等干扰因素,煤矿井下图像增强是煤矿领域的热点研究方向,很多学者在这些方面作了大量研究。

    针对煤矿井下光照低、光照不均衡等问题,智宁等[13]通过融合多尺度引导滤波和Retinex算法,引入受限对比度自适应直方图,提升图像整体亮度和对比度;范伟强等[14]采用自适应小波变换和双边滤波算法,对图像低频子图和个尺度高频子图进行小波重构,实现图像增强目的;吴佳齐等[15]提出一种基于CycleGAN网络的图像增强方法,将CSDNet网络引入CycleGAN生成器中,实现井下低照度图像增强;张立亚等[16]在图像HSV颜色空间基础上,利用改进双边滤波算法和多尺度Retinex算法,抑制了图像光晕和边缘模糊现象,提高了图像的亮度和对比度;WEI等[17]构造了一种基于Retinex模型的深度学习图像分解算法,建立了一个融合图像分解和连续增强操作的深度网络,引入了反射率去噪,不仅在弱光增强中获得了良好的视觉效果,而且能很好地表征图像的分解;LIU等[18]引入了一个基于蒸馏池的先验模块搜索空间,提出了一种合作的双层搜索策略,通过注入弱光图像的知识和搜索轻量级的优先架构,为现实场景中的微光图像构建轻量级但有效的增强网络。同时,也有针对煤矿井下部分场景多粉尘水雾和空间狭小的特点,引入图像去雾算法[19]和图像拼接算法[20],降低干扰因素影响,提高图像细节,实现图像增强的目的。

    2)矿井多传感器融合感知计算。鉴于视觉传感器在煤矿井下的应用缺陷,可以引入其它异构传感器来提高传感器对煤矿井下场景的视觉表征能力。在多传感器感知系统中,视觉传感器通常包括单目相机、双目相机和RGB-D相机,其它异构传感器常用的有激光雷达、毫米波雷达、超声波雷达、惯性测量单元(Inertial Measurement Unit,IMU)等。

    多传感器融合在煤矿有着广泛的应用,很多研究人员作了大量研究。XU等[21]提出了一种融合视觉传感器和超声波传感器的煤矿巷道车辆定位方法,其在巷道墙壁上布设条形码,利用视觉传感器和超声波传感器,求出车辆和巷道间的位置关系,实现巷道局部区域车辆的自主定位。杨文娟等[22]提出了一种融合三激光束标靶的视觉定位方法,利用三激光束标靶解决低照度、高粉尘等因素干扰,辅助视觉特征提取和定位,求解悬臂式掘进机机身位姿信息。陈先中等[23]详细介绍了毫米波雷达在煤矿地下通讯、点云成像、SLAM导航和地图构建等方面的应用优势和研究进展,充分体现了毫米波雷达在煤矿地下应用的发展潜力。周李兵等[24]深入研究了无人驾驶在煤矿井下的应用情况,设计了IMU、激光雷达、毫米波雷达、超声波雷达和摄像头等多传感器融合策略,感知周围环境信息,实现无轨胶轮车无人驾驶感知系统。

    上述文献都针对煤矿井下不同需求开展多传感器融合研究,但研究主要集中在装备或需求本身,不能普遍应用于煤矿井下不同场景。因此,面对煤矿海量需求应用,研究多传感器融合感知计算技术,增强对煤矿井下场景的表征能力,形成一个可服务于未来煤矿井下各项应用的环境感知信息平台有着重要的研究价值和应用前景。

    在图像增强的基础上进行视觉特征提取可有效地用于环境感知、语义理解,从而正确解析图像、理解图像和识别目标。视觉特征包含点特征、线面特征、对象级特征(Object Level)等多个类型。

    在视觉点特征提取与描述中,由于成像环境和设备复杂多变,正确匹配同名特征点具有较大的难度。因此较好的匹配需要特征描述具有良好的性质,包括光照不变性、旋转不变性、尺度不变性和仿射不变性等。Harris算法[25]、FAST算法[26]具有较好的抗噪性和旋转不变性;BRIEF特征描述[27]具有较好的抗噪性和光照不变性;ORB算法[28]和SIFT算法[29]具有较好的抗噪性、光照不变性、旋转不变性和尺度不变性;SURF算法[30]、ASIFT算法[31]、Harris-Affine算法[32]和MSER算法[33]具有较好的仿射不变性。

    视觉线面特征提取和描述与点特征具有密切关联,可使用局部坐标的起点、终点及置信度等参数进行描述并使用普吕克坐标(Plücker Coordinates)或旋量(Screw)表示。线、面特征提取算法包括基于全局霍夫的方法、基于局部的方法、基于深度学习的方法及混合方法等。在基于全局霍夫(Hough)的方法中,DUDA等[34]特征描述解决了笛卡尔坐标系下无法检测到垂直于坐标轴直线的问题。MATAS等[35]将图像空间中的线段检测问题转化为Hough空间中的峰值统计问题。在基于局部的方法中,LSD算法[36]对噪声具有鲁棒性,可以检测不同方向和长度的线段。EDLines算法[37]仅使用提取的边缘实现了比LSD算法快10倍以上。MLSD[38]、FCLIP[39]、L-CNN[40]等使用深度学习技术进行线面结构特征提取与描述。HTLCNN[41]结合霍夫变换与神经网络,使构建的网络能够提取全局和局部特征用于检测线特征。

    在对象级特征提取与描述中,由于视觉场景捕获的场景对象多样且具有层次性,目前常采用基于深度学习方法进行场景对象特征提取与描述。BLOESCH[42]使用卷积神经网络(Convolutional Neural Networks,CNN)学习视觉数据中的对象特征的二进制编码并进行优化感知定位。LIU等[43]通过目标检测或语义分割算法,从图像中提取语义对象的信息并将语义对象与先前的观测进行关联。基于对象级特征提取与表示中,对象特征实质上已经具有了明确的语义信息,当前的语义信息包含语义类别信息、语义实例信息等,这些语义信息能够提供更准确和一致的观测特征匹配。

    视觉不同类型的特征提取与表示如图3所示。煤矿井下视觉数据受到拍摄角度、距离、光照、遮挡和噪声影响,这要求视觉特征提取与描述具有较好性质且易构成鲁棒的匹配,因此在多视角图像三维重建、图像拼接、视频拼接和视觉导航等技术中应用视觉点特征、线面特征、对象级特征的提取与描述具有重要作用,涉及煤矿智能化较多工程技术领域,其中目前应用较多的视觉特征为点特征,尤其是ORB特征、SIFT特征等。

    图  3  典型特征算法与类型
    Figure  3.  Typical feature algorithm and classification

    针对煤矿井下海量二维图像、视频的理解以及三维场景的解析对加速煤矿智能化建设具有重要意义,该细分领域主要包括物体检测、语义分割、动作定位与识别及场景解析共4个方面的研究。

    物体检测是确定图像中目标物体位置及类别的重要技术手段[44],也是矿井视觉计算的一个核心研究领域。以煤矿井下场景为例,针对传输输送带上夹杂的大煤块、锚杆或者煤矸石等异物的检测对煤矿安全生产有着重要意义。近十年,物体检测领域取得了长足的发展,2017年,Mask R-CNN方法[45]被提出,通过在参数训练中设置遮掩,提升计算速度的同时实现了关键点的物体检测及实例分割。2019年,Cascade R-CNN[46]和SCNN[47]方法被相继提出,其中Cascade R-CNN通过在Faster R-CNN的基础上进一步细化边界实现更准确的物体检测,SCNN则是通过在CNN中引入正态分布的统计学特征,提升了物体检测的鲁棒性。2020年,考虑到部分图像呈现小样本分布,FSOD算法[48]提供了更具通用性的小样本检测框架。2021年起,该领域对注意力机制的实际应用给予了更多关注,DETR模型[49]作为一种高效且快速收敛的端到端目标检测器,取得了优异的表现。2022年,针对背景与目标对象混淆的场景,COD算法[50]被提出并实现了对隐藏对象的成功识别。如今,本领域逐渐聚焦于复杂场景下的高效物体检测,以提升在实际场景中应用的可能。

    通过对图像的语义进行分析和分割,将不同的对象进行分离与标注是语义分割研究的目标。在井下复杂场景中,如何在复杂低照度场景中完成不同大小对象的分割一直是难点。类似地,ScribbleSup[51]被提出应用于涂鸦级语义分割,可以在主要目标上进行简易标注;BoxSup[52]成为了边框极语义分割的经典算法,可以实现对候选区域完成提取;2016年,Bearman提出针对特征点的识别与标注[53]。2022年,针对局部面片级和全局区域级的图像分割任务,一种基于ViTs的框架被提出并有着优异的表现[54]

    人体动作的定位与识别旨在从图像或视频帧中完成对人体动作的解析,是应用中非常经典的任务之一,如图4所示,煤矿井下完成对人及其动作的准确识别对煤矿安全生产有着重要意义。2020年,ResNet50[55]被成功应用于矿工异常行为的识别任务中,其中将矿工的异常行为划分为3个维度进行辨识;文献[56]应用数千条真实行为序列训练LSTM模型成功预测了短时间内异常行为的发生概率。

    图  4  煤矿井下人体动作识别效果
    Figure  4.  Action recognition in underground coalmine

    然而,上述较为成熟的模型仅仅只能应用于常规的识别任务,无法在空间和时间复杂性较高的复杂光学场景中开展视觉理解工作。为此,2020年,注意力相关的非稳态动态定位算法[57]被提出,通过从其他提案中获取有用的信息来增强表示能力。2021年,在跟踪学习检测(Tracking Learning Detection,TLD)框架的基础上,多特征融合的Mean Shift算法[58]被成功应用于煤矿井下巷道视频的动态目标跟踪任务,能够有效应对目标形变、复杂光照等挑战。2022年,一项基于Transformer的端到端动作特征提取模型[59]被提出,可以灵活地从视频中提取时态上下文信息,促进了该领域相关方法的应用。但是这些前沿算法在井下复杂环境中的应用尚不具备鲁棒性,主要受限于遮挡、光照、目标形变等复杂客观条件。因此,如何从算法模型层面有效突破此类场景的挑战也成为了近些年井下视觉理解相关研究的关键。

    除了针对图像和视频数据进行分析,如何结合音频等多模态数据进行场景理解可以应用于井下机器人视觉系统等复杂业务场景,有着重要的作用,同时也面临着巨大的挑战。现如今,通过对全局图像特征进行搜索并建立与语句或实体的关系是一种典型的视觉场景理解方法[60]。除此之外,基于模板匹配[61]和基于注意力机制[62]的场景理解模型也对准确理解图像等数据有着促进作用。

    视觉三维感知技术可以有效应用于自动驾驶、AR(Augmented Reality)/VR(Virtual Reality)、自主飞行无人机等实际应用中[63],在煤矿智能化中也将发挥重要作用[64]

    视觉数据的三维感知技术可利用多视图几何原理或神经网络进行空间的感知。在应用多视图几何原理进行基于视觉数据的三维感知中可应用SfM(Structure from Motion)技术或SLAM(Simultaneous Localization and Mapping)技术。SfM与SLAM方法采用多模块设计架构,包括前端特征提取技术、后端整体或部分优化技术、回环与重定位技术[65],SLAM基本结构如图5所示,其中包含多源数据采集、前端特征提取与位姿预估计、后端位姿优化估计、地图管理与维护、空间重建生成等模块,这些模块的计算可采用本地的三维感知计算,也可采用端云融合的方式,该技术可以用于矿井在线或离线的视觉计算与空间重建。各模块中也可应用神经网络进行实现,LF-Net、SuperPoint等方案[66]应用神经网络实现视觉特征提取与表达,SuperGlue[67]实现了应用深度学习的特征匹配与验证。

    图  5  SLAM基本结构
    Figure  5.  Basic structure of SLAM

    目前已有较多针对SfM的研究成果,例如:VisualSfM[68]、COLMAP[69]等,VisualSfM将SfM算法的时间改进到O(n2)的同时又保留了较高的精度,COLMAP进一步提升精度的同时实现了稠密三维空间重建。PTAM[70]首先将SLAM划分为前后端的结构,实现了前端实时跟踪、后端滑动优化算法。这一结构深度影响了当前较多SLAM算法的实现,如:ORBSLAM系列[71]、LSD-SLAM[72]等。

    在矿井环境应用SfM或SLAM技术面临着诸多挑战,包括环境照度低、照度不稳定、纹理缺失、纹理重复、多粉尘、多水雾、GPS信号缺乏等不利因素,不仅影响视觉数据质量,也对激光雷达、IMU数据的采集精度造成严重影响。为在矿井环境进行基于视觉的三维感知,当前研究主要从多传感器融合的角度进行实现,应用惯性测量单元、激光雷达、毫米波雷达、non-GPS/GPS等多源传感器进行融合计算,包括MSCKF[73]、R3LIVE系列[74]等。为在矿井环境中应用多传感器融合方案,李猛钢等[75]研究应用融合激光雷达与惯性测量单元的定位系统,实现了紧耦合的井下移动机器人定位功能,由于移动机器人算力与内存约束、激光雷达数据规模随运行时间线性增长,该类融合方法难以长时间运行。为解决矿井环境中实现准确、鲁棒、实时的三维感知定位技术,可行的解决路径有:①为使得系统具备未知环境语义级信息感知及应对动态环境挑战,应用深度学习替代或增强传统SLAM部分模块成为可行方案,如DS-SLAM[76]方案;②考虑到三维感知技术计算密集、资源消耗较大、矿井终端的算力资源约束,应用端云协同技术或设计合理的优化方案以控制计算规模成为必然选择,如DM-VIO[77]等方案;③应用于大尺度场景时,为克服大场景伴随的计算困难,常采用包含设计合理的算法、应用分布式方案等进行计算的方案,如Davison等[78]提出应用高斯信念传播算法进行分布式三维感知定位。

    三维感知中一项重要的应用是利用视觉信息进行空间计算。在三维空间的表示方面,主要包含4类形式的地图,包括:①点云形式[79],这类地图可以用作语义分析、辅助定位的高精地图等场景;②栅格地图[80],可以用于位置环境的导航、避障等功能;③应用TSDF隐式表示并进行Mesh提取的地图表示[81];④基于神经网络进行的可微地图表示,以Neural Radiance Field技术[82]为代表。XUE等[83]利用激光雷达数据进行ICP点云配准并基于激光雷达SLAM技术进行煤矿井下车场的高精地图构建,但该系统面临的实时计算困难的问题。考虑矿井主运等场景环境较为稳定,因此基于神经辐射场或栅格地图的可微表征形式可作为有效的矿井立体感知三维可视化形态;而用于辅助定位实现时,基于点云的表征三维形式结构简单、方便采集,因此可构造为高精地图的形式进行利用。

    针对矿井环境的挑战,矿井环境应用视觉计算与空间重建技术有以下可行路径:①采用多源数据融合进行位姿估计,提升位姿估计精度与鲁棒性;②应用数据增强方法对视觉数据、IMU数据、激光雷达数据进行预处理,提升数据质量;③探索在矿井壁面附加人工纹理,提升纹理丰富程度;④应用端云融合的SfM方法,提升数据处理的质量与三维空间计算的精度。

    随着我国煤矿智能化的加速推进,以视觉感知为代表的矿井下端侧各类设备传感器数量会爆发式增长,产生的海量数据需要实时计算,同时,需要降低数据传输路径长度以有效减少带宽消耗。尽管引入5G技术可以在一定程度减少延迟和降低带宽消耗、在矿井下应用也有成功案例,但考虑建设成本较高,同时未实质打破基于传统“云边”架构导致计算与数据距离远而产生延迟性问题的壁垒,因此传统架构方案已无法满足实际需求。将计算能力下沉到边端成为新的解决思路,由于矿井下环境特殊,算力设备或模组的安全性是重中之重,实际应用中,需要平衡算力与功耗,这也是目前边缘计算在矿井下应用不成熟的原因。针对以上分析,感算一体与边缘智能成为新的解决方案,引入智能感知、边缘计算、群体智能和模型轻量化等核心技术,能够在端侧就近提供高效的算力和智能应用。感算一体与边缘智能主要由感存算一体架构、模型轻量化智能计算及数据协同边缘计算技术三部分组成。图6给出了感算一体与边缘智能架构图。

    图  6  感算一体与边缘智能架构
    Figure  6.  Architecture of sense computing integration and edge intelligence

    感算一体架构是集传感、储存和运算为一体的多元计算架构[84],解决冯诺依曼架构的数据搬运的功耗瓶颈,同时与传感结合提高整体效率。在传感器自身包含的AI存算一体芯片上运算,来实现零延时和超低功耗的智能视觉处理能力。

    在矿井智能化应用场景中,由于受限安装环境及不稳定网络问题的影响,使边缘智能落地需要边缘智能传感器、边缘智能控制器、边缘智能服务器等大量智能算力设备。这些设备都是基于感算存或算存一体架构设计,内部采用边缘算力模组扩展方案,使在核心模组基础上灵活扩展接入专业的激光、摄像头、红外、WIFI和5G等设备,进而满足矿井智能产品的多样化。

    在矿井边缘智能计算场景下,一方面,资源的限制难以满足大规模的算力需求;另一方面,场景的不同也对准确率有不同的要求,这给模型轻量化智能计算技术带来了极大的挑战。模型的参数在一定程度上能够代表其复杂性,并不是所有的参数都在模型中发挥作用。因此,高效的模型压缩技术是模型轻量化的关键所在。目前模型压缩加速方法主要分为两类:前端压缩和后端压缩。紧凑模型设计和蒸馏技术就是前端压缩的代表性算法。后端压缩主要包括量化、剪枝和矩阵低秩分解等。

    知识蒸馏技术[85-86],通过构建一个轻量化的小模型,利用性能更好的大模型的监督信息,来训练该小模型,以期达到更好的性能和精度。大模型称为教师模型,小模型称为学生模型,利用来自教师模型输出的监督信息,让学生模型学习迁移来自教师模型的监督信息,达到压缩目的;模型整点化方法[87],通过参数修剪量化方法试图去除模型冗余和不重要的项,并且把权重从浮点变成整点,有利于AI边缘服务器的快速计算,从而在矿井资源受限场景下设计出轻量级网络模型。

    数据协同边缘计算技术的本质目的是协同使用靠近边缘侧的多个边缘设备的计算资源和网络资源[88],发挥不同计算设备和网络设备的优点,增强系统整体效率和性能,共同完成计算任务,从而降低时延,平衡边缘节点配置低带来的功能限制和时延增加之间的关系。边缘的数据来源具有较强的局部性,需要与其他边缘协同以完成更大范围的任务[89]。为了充分利用煤矿井下多模态异构的算力设备,利用边缘计算调配子系统,对于接入系统的不同应用的设备和软件,提供统一算法接口和运行模式,对矿井视觉计算相关算法开发提供规范管理和技术支撑。

    随着煤矿信息化程度的不断提高,现有的煤矿井下视频监控系统大部分仅用于井下场景的显示和监控作用,在掘进、采煤、运输等环节及重点场景中还面临着许多的应用难题[90-91]。部分煤矿基础设施如运输系统、巷道等,由于分布地域广、设备管理维护工作量大,需远程化、智能化的管理模式支持,以提升煤矿的生产质量和管理效率,实现降本增效。

    在实际的井下生产过程中,仅依靠人力的肉眼观察难以保障煤矿安全生产万无一失。近年来,虽然有大量的视频AI分析与识别方法被提出并应用在日常生产管理中[92-94],但是煤矿井下环境昏暗、采掘工作面粉尘大、图像/视频采集终端成像分辨率模糊、色彩辨识度低、前后景对比度差、电磁环境复杂等因素,导致经常出现少检、漏检等现象。目前煤矿最大的痛点和需求就是解决煤矿视频监控系统中由“看得见”变成“看得清”,并且通过矿井视觉计算变成“看得懂”。设计清晰明确的视频智能识别系统架构保证煤矿生产建设沿着安全、高效、绿色、低碳方向发展是煤炭领域最渴望的需求。全域智能视频识别系统应能实现对人员、装备、环境等监控视频进行智能分析,高效存储和交互数据信息及模型,并实现与煤矿其他相关子系统的联动与协同,从而提高煤矿生产质量和效率。

    因此,构建煤矿智能视频识别分析系统,支撑煤矿的高效发展迫在眉睫。通过对煤矿井下目标快速检测、三维测量、深度学习等模型在煤矿应用场景的优化等共性技术研究,研制系列矿用视频采集分析装备,构建煤矿智能视频智能识别系统,实现不同场景的自动识别,并与生产设备进行联动控制。表1给出了矿井视频智能识别系统所涉及煤矿的综采系统、掘进系统、运输系统、提升系统和洗选系统5个应用场景,每个系统都包含了4个矿井视频智能识别系统的典型应用。这些应用主要使用了基于深度学习的检测、识别、分割、回归算法。考虑到煤矿井下的边缘算力的计算能力和开销,主要采用改进的轻量级YOLO算法,并使用拉普拉斯算子和高斯滤波器来减少粉尘和水雾的影响,通过增加特征金字塔的层数获得更加丰富的信息,具有良好的抗干扰能力,同时加入注意力机制以增强跨维度交互信息。已有试验表明改进的YOLO系统算法具有更好的检测精度和更快的检测速度和鲁棒性。图7给出了上述算法的部分检测结果示例。

    表  1  煤矿视频智能识别系统典型应用
    Table  1.  Typical applications of video intelligent identification system in coal mine
    生产场景 典型应用 功能描述
    综采系统护帮检测监测工作面护帮板打开关闭、片帮状态,让机器及时感知护帮板的状态,能够检测设备是否正常运转
    断链识别监测刮板输送机的圆环链是否处在正常运行状态,一旦发生断链,立刻识别并报警
    滚筒识别实时监测割煤机前后滚筒位置、滚筒高度、运动方向,让机器及时感知滚筒的状态,能够检测设备是否
    正常运转
    大煤识别刮板输送机大块煤识别及告警,监测是否处在正常运行状态
    掘进系统危险监测综掘机处于开机运行状态时,系统识别到人员进入危险区域内时,声光报警器报警并停机,提示人员离开
    人员统计对整个掘进工作面所有区域的联动跟机分析判断掘进面现有人员的数量和实时的位置
    堆煤识别整个掘进工作面如果产生了大量的煤炭堆积在一起,导致掘进系统发生困难,立刻报警
    钻机识别从锚杆钻机工作状态判断当前是否在进行打锚杆操作,对锚杆钻机主要使用模型匹配方法进行识别
    运输系统输送带跑偏识别输送带和滚轮的左右边距变化来实时判断输送带是否有跑偏行为,一旦发生跑偏行为,给予提示纠正
    水煤检测检测运输的煤炭是否有水煤,因为潮湿的煤炭不符合生产质量,严重影响煤炭的经济价值
    煤量统计根据输送带实时载物百分比通过识别输送带上煤量和速度,利用机器学习的后台算法对输送带
    煤量实时识别
    煤矸识别煤矸石是一种含碳量较低,比煤坚硬的岩石,煤矸石降低原煤的纯度,从而影响原煤的经济价值
    提升系统尾绳监测检测尾绳运行状态,对摆动异常、尾绳散股、尾绳缠绕、尾绳脱落等异常进行报警
    断裂识别自动检测、判断钢丝绳变形情况(钢丝绳直径局部变大、局部变小、钢丝绳局部变形或损伤等)
    首绳检测提升机全速运行期间,全程实时检测每根钢丝绳直径、捻距、断丝、变形、磨损等外观缺陷
    箕斗残留箕斗残留检测,实时检测提升箕斗卸载的残留状态,卸载残留达到设定的阈值自动报警
    洗选系统输送带调速通过向PLC变频器发控制指令从而实现对输送带的五档智能调速,以达到节能降耗、减少设备磨损目的
    超温监测如果生产设备的超负荷运转,温度超过一定的阈值,会严重影响设备寿命,甚至引起火灾
    非法侵入当出现人员违规进入危险区域时,当遇到入侵、跨越、逗留等违规行为时,可进行告警,提醒人员离开
    异物识别对于分选系统中有锚杆、铁丝网、木块等非装载异物进行智能识别
    下载: 导出CSV 
    | 显示表格
    图  7  矿井视频识别示例
    Figure  7.  Mine video recognition examples

    由于煤矿井下生产环境的特殊性,煤矿井下存在着“水、火、瓦斯、煤尘、顶板”五大自然灾害,威胁职工的生命安全。利用AI和机器学习(Machine Learning,ML)技术,不断积累优化算法库、模型库和知识库,对煤矿风险进行迭代与推理,构建了符合煤矿安全风险指标体系和风险预警模型[95-98]。应用矿井视觉计算先进技术,充分发挥井下煤矿的硬件设施的价值,克服传统“人管人”方式面临效率低下的问题。通过加强矿井视觉技术研究,开发低延时、高精度、广覆盖的重大危险源智能预警防控平台,实现“人−机−环”的全面感知、实时互联、精准识别与智能协同。充分发挥矿井视觉计算技术在重大灾害风险识别中的优势,实时感知和判识重点部位及全局安全态势,形成风险告警与异常事件处理流程,对于提升煤矿的安全生产水平有着重要的意义。

    围绕构建煤矿视频智能预警系统,重点针对煤矿场景训练数据样本少、正负样本不均衡,模型容易出现过拟合现象,导致模型泛化能力弱的问题,研究样本增广、难负样本挖掘等算法,增加模型训练正负样本数量,提高目标检测准确率;针对煤矿井下弱光照与强干扰引起目标灰度变化、高动态引起姿态变化与尺度变化等问题,研究光照、姿态与尺度自适应的跟踪滤波器技术,提高目标跟踪算法的鲁棒性;研究融合多特征的多目标匹配跟踪算法,提高多姿态、多尺度的跟踪运算效率。

    通过上述各种算法的研究与开发,实现对视频图像中的人员和装备的行为与状态进行智能分析,根据不同场景,实现对煤矿井下常见的“三违”隐患及装备运行状态的识别分析,实时发现违章行为及其它安全隐患。同时,在拥有严格安全管理规范的煤矿生产区域中,平台还可对工作面、场区、车辆等装备进行实时智能安全管理,通过自动化危险预警降低安全事故的发生率。全面实现对实体煤矿井下的数字化管理,极大提升管理运维效率,赋能煤矿安全与运营管理的智能化。

    表2给出了矿井视频智能预警系统所涉及的五大应用,主要针对煤矿人、车、物的综合管理,提供关键岗位、人员管理、特定场所、入口出口、车辆管理等功能。这些应用主要采用基于深度学习的目标检测和跟踪算法。面向煤矿复杂环境,普遍采用动态阈值的YOLO算法,并结合动态自适应背景建模,大幅加速了人体检测效率;在多目标跟踪过程中,可以采用带权重的匈牙利匹配算法,通过动态阈值保留检测人员的低分检测框,利用低分检测框与轨迹的相似性,降低漏检并提高轨迹连贯性,进而有效缓解人像重叠带来的跟丢、轨迹碎片化等问题,同时使用高效的检测模型和匈牙利匹配数据关联策略,进一步提升跟踪性能。图8给出了矿井出入口多目标人员跟踪的效果。

    表  2  煤矿视频智能预警系统典型应用
    Table  2.  Typical application of video intelligent warning platform in coal mine
    生产场景 典型应用 功能描述
    关键岗位脱岗监测在关键岗位,检查工作人员是否脱离工作岗位,违反工作纪律,给生产造成重大的安全事故隐患
    睡岗检测在关键岗位,检查工作人员是否睡觉,违反工作纪律,给生产造成重大的安全事故隐患
    定期巡检在关键设备岗位,需要巡检人员定期检查设备的工作状况,通过摄像头感知人员是否按照时间到指定的场所检查设备
    姿态识别设计摄像头人员姿态估计识别算法,感知矿工的动作异常行为分析,比如下蹲、坐卧等异常姿态分析
    人员管理戴安全帽在矿区场景中,如果不带安全帽,会严重影响个人的人身安全,因此设计识别矿工是否佩戴安全帽算法
    穿工作服在矿区场景中,要统一穿工作服,不然会严重影响个人人身安全,因此设计识别矿工是否穿工作服进行施工
    非法闯入对监控区域进行7×24 h全天候管控,当监测到有人员靠近、闯入时,立即报警及时通知安全管理人员及时处理
    人员定位在井上井下场景中,需要了解每一个井下人员位置信息,以方便管理,因此设计摄像头算法定位矿工的地理位置信息
    特定场所积水检测在水泵房中,如果出现大面积的漏水或者积水,会威胁或影响生产,因此建立积水预警系统
    吸烟检测在矿区中,吸烟容易引起爆炸,从而威胁人员安全或影响生产,因此建立吸烟预警系统
    打架检测在特定场景中,比如综采工作面或掘进工作面,为防止矿工打架斗殴威胁人员的安全或影响生产,建立打架预警系统
    摔倒识别在特定场景中,比如综采工作面或掘进工作面,为防止人员意外摔倒威胁人员的安全或影响生产,建立摔倒预警系统
    入口出口人数统计在矿区出入口管理中,为控制入井的人数,在入口出口设置人数统计算法,发生拥塞,立刻报警
    拥堵检测在矿区出入口管理中,为防止交通堵塞或者人员拥堵,在入口出口设置拥堵检测算法,发生堵塞,立刻报警
    人脸识别为了方便矿区人员的管理考勤,例如准时上下班,在关键的矿井出入口设置人脸识别系统,可以考察人员考勤状态
    超限识别在矿区车辆装载货物时候,如果货物超出一定的高度,宽度,长度或者重量的时候,严重威胁矿里的安全系统要报警
    车辆管理车牌识别在能够识别进入井上和井下每一辆的车牌信息,以便了解矿山车辆的调度信息和运行状态,为车辆运维提供全面信息
    车辆逆行在有车辆巷道里面,为便于管理井下的交通,有些道路不允许逆行车辆,一旦发现车辆逆行,进行报警
    车辆违停在井下高危险作业基地,为便于管理井下的交通,危险的区域不允许车辆停放,发现车辆停放,立刻进行警
    超速识别在有车辆巷道里面,为避免交通事故,车辆不允许超速,发现车辆超速,进行报警
    下载: 导出CSV 
    | 显示表格
    图  8  多目标检测跟踪示例
    Figure  8.  Multiple object detection and tracking

    煤矿开采常在数百米、甚至超过千米的地下,空间昏暗模糊,人员进出常具有诸多不便,降低作业效率,也影响救援工作的实施。此外,在煤矿开采的过程中,井下也经常存在着瓦斯、煤尘、水、火等许多潜在的风险,威胁着作业人员的人身安全。具有自主定位与导航能力的煤矿机器人在开采、运输、巡检等环节可替代人工作业,具有高效率、高可靠性、低成本、低风险的优点,可降低煤矿开采中的风险,较少人员伤亡,因而得到越来越多的应用。

    当前可用于矿井环境的机器人自主定位技术主要包括惯性定位技术、视觉定位技术、激光雷达定位技术等。激光雷达定位在巷道场景特征点少时,低线束雷达建图稀疏、高线束雷达成本昂贵[99];惯性定位易受温度、零偏的影响,产生累积误差;而视觉定位则具有价格低廉,信息丰富等优点,可以作为主要定位手段,或作为其他定位技术的补充。图9给出了矿井视觉定位导航系统流程,由传感器信息获取、图像预处理、视觉里程计、后端优化与建图等模块组成。

    图  9  矿井视觉定位导航系统
    Figure  9.  Coalmine visual positioning navigation system

    矿井环境通常存在着大量粉尘,而且存在着狭窄、潮湿、光线昏暗等特点。加之人员或设备上的移动光源,矿井环境的光线相比地面环境更为多变。这使得矿井图像存在着低照度、低对比度、颜色不均匀的特点。这些特点导致了矿井图像难以满足光度不变假设,也会影响特征点的提取与匹配,使得定位性能急剧下降。因而,在进行矿井环境的视觉定位之前,有必要对矿井特殊环境的图像进行针对性的预处理,提升输入图像质量。

    前端用来估计帧间的位姿变换,视觉里程计(Visual Odometry,VO)是基于视觉的前端,融合了IMU的VO则称为视觉–惯性里程计(Visual-Inertial Odometry,VIO)。根据使用的相机数量与种类不同,视觉里程计一般可分为单目、双目、RGB-D等方法。视觉里程计一般也可分为基于特征点的方法和不使用特征点的直接法。基于特征点的方法首先对图像进行特征提取与匹配,进而估计两帧图像之间的位姿变化。整体来看,基于特征点的方法对光照变化、遮挡与大视角的变化等情况具有更好的鲁棒性,但这种方法得到的地图往往是仅包含特征点的稀疏地图,还存在着对纹理缺失的环境鲁棒性不强等的问题,难以用于机器人导航等场景。直接法无需进行特征提取,而是基于光度不变假设,通过最小化重投影误差,得到帧间位姿变换的估计。相比基于特征点的方法,直接法对纹理缺失环境的鲁棒性更强,而且更易于构建稠密、半稠密地图。但由于依赖于光度不变假设,直接法易受光照条件变化的影响,而且对视角变化较大的场景鲁棒性较差。

    后端的目的是通过滤波、优化的方法,优化位姿,提高位姿估计的一致性,并在融合了回环检测结果的基础上,提高位姿估计精度。后端大致可分为基于滤波的方法和基于优化的方法。基于滤波的方法通常利用扩展卡尔曼滤波(Extended Kalman Filter,EKF)等方法,对前端的估计结果进行后处理,提高估计结果的精度。基于滤波的方法计算效率高、实时性好,但估计精度较低。此外,由于该类方法基于一阶马尔可夫假设,难以实现回环检测,无法保证全局最优,使得估计精度难以进一步提高。基于优化的方法的优化过程一般称为捆集调整(Bundle Adjustment,BA)[100],它将历史时刻的状态看作优化变量,利用运动方程、观测方程等作为约束,通过最小化误差,优化每时每刻的状态估计。相比基于滤波的方法,基于优化的方法可以融合回环检测的结果,在检测到的回环之上进行优化,可以得到更优的估计结果。

    目前的煤矿机器人主要通过激光雷达、电子标签、惯性导航等技术实现自主定位导航,主要用于辅助运输、巡检记录、抢险救援等,代替人工进行物料的运输、环境声音和温度等数据的采集与监视,进行清堵、清淤、清道作业,进行被困人员的自主搜救工作等。矿井视觉定位除了为机器人的移动提供必要的位置信息,辅助实现运输、巡检、救援等功能以外,还提供比激光雷达等更丰富的纹理信息,可辅助进行环境分析与救援目标的搜寻,也可用于矿井环境的三维构建,实现对巷道形变等风险的监控。

    大型采掘装备的远程操控是实现煤矿无人化开采的关键技术。然而,井下恶劣环境,低照度、高粉尘使得远程操控过程中视频监控看不清、参照物少、无空间感等问题。这些问题造成了操作人员在进行远程操控装备过程中的临场感差,操作效率低,操作准确性差。通过矿井视觉技术重建井下工作环境、呈现全景现场和增强环境感知,给操作人员呈现逼真的工作现场,增强临场感,提升操作效率,提高操作准确性,如图10所示。

    图  10  矿井视觉计算增强临场感技术路线
    Figure  10.  Technical route of mine visual computing to enhance presence

    三维重建煤矿井下工作环境[101-102]。应用视觉计算技术中的三维重建技术,通过激光、视觉、惯导等多源数据融合对井下工作环境进行三维重建,实时重建生成的虚拟工作环境与装备虚拟样机通过大地坐标系进行位置匹配。操作人员通过在虚拟工作环境中对虚拟装备的操控完成对井下真实装备的远程操控。这种通过视觉计算和虚实映射的远程操控的方式使得操作者在操作过程中如身临其境,实现了采掘装备视觉临场感操控。

    视频拼接呈现全景现场[103]。应用视觉计算技术中的视觉感知与增强技术,通过对井下低照度视频进行噪声滤波、亮度增强、快速去雾等处理,实现对光照较低、亮度不均、纹理模糊、噪声较多的视频进行增强,将增强后的位于不同点位的多路视频信号进行全景视频拼接,形成对整个采掘工作面环境的监控视频。操作人员通过对增强拼接后的视频感知现场工况,操作采掘装备进行工作,可以大幅增强操作人员的临场感。

    虚实融合增强环境感知[104]。应用视觉计算技术中的三维视频融合技术,通过三维虚实注册,将预先根据参数建好的矿井三维模型与视频图像进行融合,在融合后的视频中通过三维标注显示矿井的参数信息,为操作人员提供多角度多参数的视频信号和语义信息。三维视频融合技术使位置信息与视频紧密联动,增强了操作人员监控和操作的临场感,有效提高了环境监控效率和装备操作准确度。

    矿井视觉计算中的三维重建技术、视觉感知和增强技术、视频融合技术,通过对矿井环境重构、视频图像的增强和虚实数据的融合,增强了操作人员对远程环境的感知能力,使其在环境监控和装备远程操过程中具有较强的临场感和较好的操作体验,实现环境和装备的远程精准操控,临场感远程操控使作业人员可以远离危险生产场景,将会成为无人化矿井的重要技术支撑。

    为促进煤炭行业高质量发展,煤矿智能化、无人化建设已经成为煤炭行业发展的必然趋势,矿井视觉计算技术及系统也将在其中发挥越来越重要的作用。但是,目前矿井视觉计算在煤矿井下很多应用场景中还存在诸多技术难题:

    1)煤矿井下环境的复杂性给矿井视觉计算应用带来巨大挑战。由于煤矿井下环境照度低、光照不稳定、纹理缺失、纹理重复、多粉尘、多水雾等不利因素的影响,视觉计算相关算法目前在煤矿井下只能有效应用于局部条件好的场景。为适应煤矿智能化的进一步发展需求,还需要深入研究并突破煤矿井下复杂环境下的视觉计算理论和方法。

    2)煤矿井下数据采集手段和计算方式已经严重阻碍了矿井视觉计算的应用。煤矿井下目前大多采用单一视觉传感器采集图像或视频上传至云端服务器进行处理。由于视觉传感器自身的限制,在煤矿井下光照不充分的场景,单一视觉传感器很难获取全面有效的数据,因此,需要进一步研制组合传感器。另外,数据远距离上传至云端,会造成数据传输拥塞,反映延时,不能满足实时应用场景的需求。虽然近年来,边缘计算已经逐步进入煤矿,但是煤矿井下轻量化算法的支撑还有限,还缺乏局部协同处理数据的能力,更不能应对融合数据处理的需求。

    伴随着上述问题的不断突破和矿井视觉计算与采矿工艺的深度融合,新的矿井生产模式变革也将出现,其中,矿井增强现实/混合现实(Augmented Reality/Mixed Reality,AR/MR)交互应用和平行智能采矿是2种非常重要的发展方向:

    1)矿井增强/混合现实交互应用。矿井AR/MR交互将基于矿井视觉计算技术,特别是煤矿井下受限空间的环境感知与图像增强、语义识别与理解、空间重建与定位、语义模型恢复与矢量化技术,采用微服务架构,结合矿井大型模型端云协同实时渲染技术,建立统一高效的矿井视觉计算、渲染与交互应用工作流。综合微服务架构和AR/MR相关技术,将可以实现煤矿井下综采/掘进工作面、巷道、水泵房、变电站等典型场景的AR/MR交互应用。

    2)平行智能采矿。平行智能采矿重点将针对新时代下我国矿区智能化发展诉求与矿山无人化进程中遇到的复现难、协同难的技术问题[12],将结合平行智能理论与智能采矿技术,基于矿井视觉的环境感知与建模技术,设计平行矿井数字仿真技术、远程临场感操作技术、矿井通信与协作技术,构建矿井平行智能采矿系统,推动煤矿井下生产朝智能化、无人化发展,减少现场人员数量,提高工作效率。

    矿井视觉计算主要通过构建煤矿井下环境的感知、描述、识别和理解计算模型,以使计算机具有通过图像或视频感知煤矿井下三维环境信息的能力。本文首先围绕煤矿井下视觉计算的基本概念,重点比较分析了计算机视觉与矿井视觉计算的异同,总结提出煤矿井下视觉计算的组成架构体系;然后,详细介绍了煤矿井下视觉计算所涉及的视觉感知与增强、特征提取与特征描述、语义学习与视觉理解、三维视觉与空间重建、感算一体与边缘智能等关键技术,并给出视觉计算在煤矿井下的典型应用案例;最后给出煤矿井下视觉计算的发展趋势和展望。随着煤矿井下视觉计算理论的不断突破和完善,笔者相信矿井视觉计算在煤矿智能化发展中将发挥越来越重要的作用。

  • 图  1   淋滤试验装置

    Figure  1.   Experimental apparatus for leaching

    图  2   煤矸石中主要矿物组成

    Figure  2.   Main mineral composition of coal gangue

    图  3   煤矸石重金属元素含量对比

    Figure  3.   Comparison of heavy metals content in coal gangue

    图  4   淋出液重金属元素质量浓度和释放率

    Figure  4.   Concentration and release rate of heavy metals in leached solution

    表  1   煤矸石岩石类型、主要化学成分及矿物组成关系

    Table  1   Relationship between rock type, main chemical composition and mineral composition of coal gangue

    岩石类型 主要化学成分
    (质量分数)
    矿物组成特征
    黏土岩矸石 SiO2(40%~
    70%)、Al2O3
    (15%~30%)
    高岭石(>60%)泥岩、伊利石(>50%)泥岩、碳质和泥质页岩及灰岩等
    (粉)砂岩矸石 SiO2(>70%) 碎屑矿物和胶结物,如石英屑、长石、云母矿物,被碳质浸染或含碳酸盐的黏土矿物及其它化学沉积物
    铝质岩矸石 Al2O3(>40%) 以黏土矿物、富铝矿物为主,混有石英、玉髓、方解石等矿物
    钙质岩矸石 CaO(>30%) 以方解石、白云石为主,混有较多黏土或少量石英等碎屑矿物
    下载: 导出CSV

    表  2   煤矸石中主要氧化物组成

    Table  2   Composition and content of main oxides in coal gangue

    样品名称 质量分数/%
    SiO2 Al2O3 Fe2O3 CaO MgO K2O Na2O TiO2 CO2 Al2O3/ SiO2
    C6-2-R 59.10 17.79 5.34 0.31 1.36 2.52 0.08 0.92 0.24
    C5-5-R 69.50 16.47 2.42 0.24 0.81 2.58 0.06 0.68 0.30
    WCW-F 24.71 19.64 0.23 1.10 0.36 0.17 0.20 3.42 49.47 0.79
    下载: 导出CSV

    表  3   煤矸石重金属元素含量

    Table  3   Heavy metal content of coal gangue

    样品 含量/(μg·g−1)
    V Cr Ni Cu Zn Ba Pb Th U
    C6-2-R 106.44 123.00 33.01 37.91 103.82 416.05 28.25 15.43 3.76
    C5-5-R 71.35 80.01 11.99 23.09 87.96 291.00 24.95 15.18 3.71
    WCW-F 247.02 143.37 58.71 36.03 32.65 44.45 46.01 27.71 10.48
    下载: 导出CSV

    表  4   重金属元素的释放率

    Table  4   The average release rate of heavy metals

    样品 质量分数/%
    V Cr Ni Cu Zn Ba Pb Th U
    C6-2-R 0.0047 0.0004 0.6498 0.2521 1.0627 2.1232 0.0226 0.0029 0.0125
    C5-5-R 0.0709 0.0300 1.7827 0.4372 1.0830 1.3603 0.0725 0.0437 0.1646
    WCW-F 1.7926 0.2094 0.5188 0.5744 4.2542 10.9191 0.2027 0.0167 0.0471
    下载: 导出CSV

    表  5   煤矸石中元素淋滤结果环境效应评价

    Table  5   Environmental effect evaluation of leaching results of elements in coal gangue

    元素 V Cr Ni Cu Zn Ba Pb Th U
    砂岩矸石淋出液
    最大质量浓度/(mg·L−1
    0.0033 0.0018 0.0076 0.0038 0.0276 0.2286 0.0011 0.0005 0.0005
    超标次数 0 0 0 0 0
    超标率/% 0 0 0 0 0
    黏土岩矸石淋出液
    最大质量浓度/(mg·L−1
    0.1190 0.0118 0.0125 0.0068 0.0512 0.1725 0.0037 0.0002 0.0002
    超标次数 0 0 0 0 0
    超标率/% 0 0 0 0 0
    地下水环境质量标准
    三类水标准(各元素质量浓度)/(mg·L−1
    0.02 1 1 0.70 0.01
    下载: 导出CSV

    表  6   “缩核模型”元素拟合相关系数R2

    Table  6   The element fitting correlation coefficient R2 of the “reduced kernel model”

    样品相关系数R2
    VCrNiCuZnBaPbThU
    C6-2-R0.466760.500000.183390.016890.241270.084750.288500.047430.26146
    C5-5-R0.000590.000180.818210.354320.695360.559030.005770.000010.00001
    WCW-F0.641830.858580.736700.941640.690410.821710.922540.693300.64611
    下载: 导出CSV
  • [1]

    SUN Q,ZHANG J,QI W,et al. Backfill mining alternatives and strategies for mitigating shallow coal mining hazards in the western mining area of China[J]. Quarterly Journal of Engineering Geology and Hydrogeology,2020,53(2):217−226. doi: 10.1144/qjegh2017-026

    [2]

    LI D,WU D,XU F,et al. Literature overview of Chinese research in the field of better coal utilization[J]. Journal of Cleaner Production,2018,185:959−980. doi: 10.1016/j.jclepro.2018.02.216

    [3]

    HUA C,ZHOU G,YIN X,et al. Assessment of heavy metal in coal gangue:distribution,leaching characteristic and potential ecological risk[J]. Environmental Science and Pollution Research,2018,25(32):32321−32331. doi: 10.1007/s11356-018-3118-4

    [4]

    CHUNCAI Z,GUIJIAN L,DUN W,et al. Mobility behavior and environmental implications of trace elements associated with coal gangue:a case study at the Huainan Coalfield in China[J]. Chemosphere,2014,95:193−199. doi: 10.1016/j.chemosphere.2013.08.065

    [5]

    SUN R,LIU G,ZHENG L,et al. Characteristics of coal quality and their relationship with coal-forming environment:a case study from the Zhuji exploration area,Huainan coalfield,Anhui,China[J]. Energy,2010,35(1):423−435. doi: 10.1016/j.energy.2009.10.009

    [6]

    LI C,ZHENG L,JIANG C,et al. Characteristics of leaching of heavy metals from low-sulfur coal gangue under different conditions[J]. International Journal of Coal Science & Technology,2021,8(4):780−789.

    [7] 王新富,王彦君,高良敏,等. 煤矸石对草原煤矿区生态风险影响研究[J]. 煤炭科学技术,2022,50(10):226−234.

    WANG Xinfu,WANG Yanjun,GAO Liangmin,et al. Research on influence of coal gangue on ecological risk in grassland coal mining area[J]. Coal Science and Technology,2022,50(10):226−234.

    [8]

    RAKHUNDE R,DESHPANDE L,JUNEJA H D. Chemical speciation of chromium in water:a review[J]. Critical reviews in environmental science and technology,2012,42(7):776−810. doi: 10.1080/10643389.2010.534029

    [9]

    ZHOU C,LI X,ZHOU J. Leaching experiment and environmental effect of heavy metals of coal gangue in Heshan mining area,Guangxi province[J]. Hydro & Engi Geolo,2014,41:135−141.

    [10] 王心义,杨 建,郭慧霞. 矿区煤矸石堆放引起土壤重金属污染研究[J]. 煤炭学报,2006,31(6):808−812. doi: 10.3321/j.issn:0253-9993.2006.06.024

    WANG Xinyi,YANG Jian,GUO Huixia. Study on heavy metals in soil contaminated by coal waste rock pile[J]. Journal of China Coal Society,2006,31(6):808−812. doi: 10.3321/j.issn:0253-9993.2006.06.024

    [11] 马 杰,刘 萍,刘今朝,等. 重庆市煤矸山周边农用地土壤重金属污染评价和定量溯源解析[J]. 环境科学,2022,43(12):5698−5709.

    MA Jie,LIU Ping,LIU Jinzhao,et al. Pollution evaluation and quantitative traceability analysis of heavy metals in farmland soils around the gangue heap of a coal mine in Chongqing[J]. Environmental Science,2022,43(12):5698−5709.

    [12]

    BEESTON M P,POHAR A,ELTEREN J T,et al. Assessment of physical leaching processes of some elements in soil upon ingestion by continuous leaching and modeling[J]. Environmental science & technology,2010,44(16):6242−6248.

    [13] 祁星鑫. 新疆主要煤区煤矸石矿物性质及其利用研究[D]. 合肥:中国科学院大学,2010:2−5.

    QI Xingxin. Mineralogy character of coal gangue from Xinjiang great coal mine regions and its utilization[D]. Hefei:University of Chinese Academy of Sciences,2010:2−5.

    [14] 孙 浩. 淮北固废堆积区土壤中微量元素的环境地球化学研究[D]. 合肥:中国科学技术大学,2018,26−30.

    SUN Hao. Environmental geochemistry study of trace elements in soils of solid waste accumulation area in Huaibei area[D]. Hefei:University of Science and Technology of China,2018,26−30.

    [15] 李 贞,王俊章,申丽明,等. 煤矸石物化成分对其资源化利用的影响[J]. 洁净煤技术,2020,26(4):34−44.

    LI Zhen,WANG Junzhang,SHEN Liming,et al. Influence of the physical and chemical composition of coal gangue on its resource utilization[J]. Clean Coal Technology,2020,26(4):34−44.

    [16] 黄艳利,王文峰,卞正富. 新疆煤基固体废弃物处置与资源化利用研究[J]. 煤炭科学技术,2021,49(1):319−330.

    HUANG Yanli,WANG Wenfeng,BIAN Zhengfu. Prospects resource utilization and disposal of coal-based solid wastes in Xinjiang[J]. Coal Science and Technology,2021,49(1):319−330.

    [17] 赵仕华. 新疆北部准噶尔和伊犁盆地主要煤田煤质特征及其地质控制因素分析[D]. 北京:中国地质大学,2019:9−25.

    ZHAO shihua. The coal quality and its controlling factors in the main coalfields of Junggar and Yili basins,Northern Xinjiang Province[D]. Beijing:China University of Geosciences,2019:123−134.

    [18] 刘双双,王文峰,王文龙,等. 伊犁盆地煤中关键金属的分布赋存特征[J]. 煤炭学报,2022,47(5):1761−1772.

    LIU Shuangshuang,WANG Wenfeng,WANG Wenlong,et al. Distribution regularity and occurrence characteristics of critical metal elements in Yili coals [J]. Journal of China Coal Society,2020,47(5):1761−1772.

    [19] 杨 娅,季宏兵. 新化矿区煤矸石中微量元素赋存形态及浸出特征[J]. 地球与环境,2016,44(1):36−46.

    YANG Ya,JI Hongbing. A Study on Chemical Forms and Leaching Characteristics of Trace Elements in Coal Gangue from Xinhua Coal Mine in Guizhou Province,China[J]. Earth and Environment,2016,44(1):36−46.

    [20]

    WEN C Y. Noncatalytic heterogeneous solid-fluid reaction models[J]. Industrial & Engineering Chemistry,1968,60(9):34−54.

    [21]

    ZHU C,QU S,ZHANG J,et al. Distribution,occurrence and leaching dynamic behavior of sodium in Zhundong coal[J]. Fuel,2017,190:189−197. doi: 10.1016/j.fuel.2016.11.031

    [22]

    MAHAJAN V,MISRA M,ZHONg K,et al. Enhanced leaching of copper from chalcopyrite in hydrogen peroxide–glycol system[J]. Minerals Engineering2007,20(7):670−674.

    [23] 陈志东,陈柏迪,邓 飞,等. 锆英砂类型伴生矿固体废物中核素与重金属释出的浸泡淋滤实验研究[J]. 核技术,2021,44(3):30504−030504.

    CHEN Zhidong,CHEN Baidi,DENG Fei,et al. Soaking and leaching experimental study on nuclides and heavy metals from zircon sand type associated radioactivity solid wastes[J]. Nuclear Techniques,2021,44(3):30504−030504.

    [24] 周新华,舒 悦,周亮亮,等. pH值对碱性煤矸石碱度和重金属释放规律影响研究[J]. 安全与环境学报,2022,22(5):2752−2758.

    ZHOU Xinhua,SHU Yue,ZHOU Liangliang,et al. Study on effects of pH value onalkalinity and heavy metal release of alkaline coal gangue[J]. Journal of Safety and Environment,2022,22(5):2752−2758.

    [25] 党 志,FOWLER M,WATTS S,等. 煤矸石自然风化过程中微量重金属元素的地球化学行为[J]. 自然科学进展,1998(3):60−64.

    DANG Zhi,FOWLER M,WATTS S,et al. Geochemical behavior of trace heavy metals in natural weathering of coal gangue[J]. Progress in Natural Science,1998(3):60−64.

  • 期刊类型引用(9)

    1. 王轶玮,李晓宇,翁智,白凤山. 基于改进Zero-DCE模型的矿井低照度图像增强方法. 工矿自动化. 2025(02): 57-64+99 . 百度学术
    2. 李泽鹏. 煤矿视频监控系统智能化升级及应用. 自动化应用. 2024(03): 226-228 . 百度学术
    3. 程健,宋泽龙,李昊,马永壮,李和平,孙大智. 煤矿井下图像的双分支耦合Transformer网络增强方法. 煤炭学报. 2024(09): 4027-4037 . 百度学术
    4. 王建芳,段思源,潘红光,景宁波. 轻量化姿态估计时空增强图卷积模型下的矿工行为识别. 工矿自动化. 2024(11): 34-42 . 百度学术
    5. 李和平,洪劭楸,程健,安宁,赵海龙,修海鑫. 融合多级特征增强与权重网格统计的煤矿井下图像匹配. 煤炭科学技术. 2024(11): 129-140 . 本站查看
    6. 程健,米立飞,李昊,李和平,王广福,马永壮. 矿井图像的多维特征与残差注意力网络超分辨率重建方法. 煤炭科学技术. 2024(11): 117-128 . 本站查看
    7. 王海军. 矿山行业大模型建设路径探索与应用展望. 煤炭科学技术. 2024(11): 45-59 . 本站查看
    8. 张立亚,郝博南,马征,杨志方. 矿用AI视频边缘计算技术研究与应用. 工矿自动化. 2024(12): 85-92 . 百度学术
    9. 戴春雷. 我国矿山智能化研究进展及大模型应用前景. 工矿自动化. 2024(S2): 1-11+22 . 百度学术

    其他类型引用(4)

图(4)  /  表(6)
计量
  • 文章访问数:  45
  • HTML全文浏览量:  5
  • PDF下载量:  15
  • 被引次数: 13
出版历程
  • 收稿日期:  2023-02-12
  • 网络出版日期:  2024-02-18
  • 刊出日期:  2023-12-29

目录

/

返回文章
返回