0.   引　　言

我国是世界上最大的煤炭生产国和消费国，以煤为主的能源结构是我国能源资源赋存现状的必然选择，并将长期存在^[1-2]。煤炭生产经常受到瓦斯、水、火、顶板等自然灾害的威胁，当遇到矿井突发事故，由于井下作业人员情况不明、视频网络不畅、通信手段单一，往往造成信息不通、指挥不灵、数据不准，极易造成事故损失的扩大^[3-4]。国家的“十四五”规划中，提倡通过自主创新、集成创新的模式推动煤矿重大灾害防治关键技术的研究^[5]。在煤矿安全生产的过程中，地面指挥中心与井下各个工作面的实时通信至关重要，如果能对煤矿井下现场的视频信息进行快速监测和分析，并将分析结果实时传送到地面监控和指挥中心，可提前分析和预判煤矿生产过程中的突发异常情况，并在突发事件发生时有效缩短突发事件响应时间，对于提升煤矿安全生产水平具有重要意义。

煤矿井下视频监控系统已经在目前的很多煤矿中得到了广泛应用，通过危险区域下的安全监测与联动控制，将人员从危险的环境中解放出来，不仅提高了煤矿安全生产的保障能力，也可提高矿井自然灾害的监测预警水平^[6]。但是，随着煤矿信息化程度不断提高，现有的煤矿井下视频监控系统仅仅起到了井下视频场景的显示和监控作用，对于人员违章、环境参数异常、设备工作状态等情况还需要监控中心人员的浏览和识别^[7-9]。在实际的井下生产过程中，仅仅依靠人力的肉眼观察难以保障煤矿安全生产万无一失^[10]。近年来，虽然有大量的视频AI分析与识别方法被提出并被应用在日常生活与生产中，但是煤矿井下人工环境昏暗、采掘工作面粉尘大、图像/视频采集终端成像分辨率模糊、色彩辨识度低、前后景对比度差、电磁环境复杂等因素，导致经常出现少检、漏检等现象^[11]。同时，现有的煤矿安全生产视频AI识别系统构架不清、识别算法及模型在煤矿井下复杂环境适用性不明等问题又致使煤矿企业所构建的安全生产视频监控系统架构混乱、功能不全、模式单一。此外，在出现告警及紧急异常情况时，工作人员的反应速度也严重影响了煤矿应急处理的速度和安生生产效率，因此，视频AI识别关键技术成为煤矿安全生产领域的研究热点。

为及时对煤矿井下安全隐患进行识别和预警，首先围绕我国现有煤矿安全生产视频AI识别系统架构的发展现状，详细对比和论证分析其优缺点，并进行了煤矿安全生产视频AI识别系统架构的顶层设计。其次，梳理了矿井安全隐患视觉AI识别过程中的预处理、检测及识别方法类型和特点，明确了煤矿安全生产视频AI识别关键技术发展的主流方向和趋势。然后，针对代表性矿井的典型应用场景，详细展示了其功能实现内容和应用成效。最后，指明了现有的煤矿安全生产视频AI识别关键技术难点及未来发展对策，并对全文进行了归纳和总结。

1.   煤矿安全生产视频AI识别系统架构

设计清晰明确的视频AI识别系统架构是保证煤矿生产建设沿着安全、高效、减人降耗、绿色、低碳方向发展的首要条件。视频AI识别系统应能实现对人员、机器、环境等监控视频进行智能分析，高效存储和交互数据信息及模型，精准识别各种安全隐患和事故风险，实时感知煤矿全局安全态势，完成告警与异常事件处理流程，并实现与煤矿其他相关子系统的联动与协同，从而提高煤矿安全管理水平和效率，对于煤炭无人（少人）可视化精准开采和智能化建设具有重要的研究意义和应用价值。

杨传印^[12]建立了煤矿视频AI识别系统，主要由前端视频AI识别分析层、网络传输层、后端管理层等组成。前端视频AI识别分析层主要实现对人员、机器、环境等监控视频数据的采集与处理，网络传输层主要通过煤矿光纤工业环网+5G/WIFI将视频数据传输给后端管理层，数据的汇总、处理以及系统应用层面的开发均在后端管理层。张华等^[13]构建了包含接入层、网络层、数据层、应用层、表现层和用户层的系统架构，并基于视频AI识别技术设计了煤矿安全信息管理系统，实现了设备状态识别、重要岗点智能识别、井下环境身份识别、煤矿风险预警分析等功能。杨超宇等^[14]构建了包含设备感知层、分析引擎层、数据中心层和应用服务层的系统架构，设计了煤矿安全监控视频AI识别系统，实现了异常行为目标检测、行为识别、监控信息管理等功能。张立亚^[15]构建了矿山智能视频分析系统，主要由前端视频感知子系统、网络传输子系统、后端管理子系统等组成，如图1所示。前端视频设备将监测数据通过网络传输给后端管理子系统，然后统一对其进行分析处理。

图  1  矿山智能视频分析与预警系统组成^[15]

Figure  1.  Composition of mine intelligent video analysis and early warning system^[15]

下载: 全尺寸图片 幻灯片

经过归纳和分析可以发现：上述研究主要是将视频监控数据统一传输到云服务器中进行分析处理，虽然云服务器计算和存储资源强大，但忽略了视频传输及处理过程中的占用带宽高、传输效率差、响应速度慢、延迟时间长等问题。一方面，海量视频尤其是高曝光工业相机采集的视频在传输时将占用极高的网络带宽，且视频在网络传输的过程中还存在电磁干扰、噪声、传输介质等方面的影响而导致信息失真甚至丢失的现象发生。另一方面，海量视频监控数据也使得云服务器在对其进行处理时不仅需要大量的时间，且将结果从传输、分析、判断、决策、反馈的整个过程还会产生较长的时间延迟，使得视频监控系统无法实时动态响应煤矿生产中所出现的安全隐患。例如：在带式输送机运煤时对大块及锚杆等异物的检测过程中，由于输送带的运行速度较快，普通的网络摄像机在视频采集过程中常因为曝光频率不够而导致获取的视频帧存在伪影、模糊不清等情况发生。而采用高曝光工业相机虽然可以获取清晰的视频流，但是其所占用的带宽也呈指数上升，不但占用极高的带宽且传输时间较长。此外，通过云服务器进行后端分析和处理的整个过程也会产生较长的时间延迟，无法第一时间识别出该隐患并给出协同联动控制信号，导致当检测到锚杆等异物划伤甚至撕裂输送带被发现时，已使得输送带被严重长距离损伤。因此，仅仅基于云服务器对视频数据进行处理很难满足煤矿安全生产AI视频系统对实时性较高的要求。边缘计算^[16-17]通过将云服务器中的数据直接在边缘端进行处理，能够缓解云服务器的处理压力，解决云计算所出现的延时问题，并在煤矿监控领域得到了广泛的应用^[18-20]。此外，国内外学者结合云计算和边缘计算的特点，提出了基于云−边−端协同的煤矿监控系统架构^[21-26]。

李敬兆等^[21]提出了基于边云协同的煤矿井下实时视频处理系统，如图2所示，主要包括边缘计算层、数据传输层和云计算层，其中边缘计算负责处理实时性强的视频目标识别任务，云计算负责处理计算量大且实时性弱的边缘设备整合等任务。异构融合网络通过集成煤矿中的有线、无线等多种网络形式，将边缘计算中的本地视频数据上传给云计算层，同时云计算层能够将新训练的模型传输给边缘计算，实现边缘计算层和云计算层之间的数据交互。该系统阐明了边云协同处理的视频分析模式，能够实现对响应程度较高的场景进行实时分析与识别。但是其构架尚缺少对终端层（感知层）和应用层的详细分析和论证，且其边缘计算层和云计算层所涉及的关键核心技术也未给出明确的组成成分和功能模块。

图  2  基于边云协同的煤矿井下实时视频处理系统架构^[21]

Figure  2.  Architecture of real-time video processing system in coal mine based on edge-cloud collaboration^[21]

下载: 全尺寸图片 幻灯片

陈晓晶^[22]构建了云−边−端协同的煤矿火灾智能化防控系统架构，并分析了煤矿火灾防控体系中云−边−端三层之间的对立统一关系。屈世甲等^[23]提出了基于云−边−端三级的煤矿监测监控体系架构，并增加了“端”侧传感信息的采集。姜德义等^[24]面向智慧矿山提出了边云协同计算技术架构，如图3所示，其中云计算负责处理非实时、长周期和业务决策数据，边缘计算处理实时性、短周期和本地决策数据。该架构将系统分为设备层、传输层、服务层和应用层，实现云计算数据和边缘计算数据之间的实时交互。

图  3  智慧矿山云边端协同计算技术架构^[24]

Figure  3.  Cloud-edge-terminal collaborative computing technology architecture for intelligent mine^[24]

下载: 全尺寸图片 幻灯片

上述研究是针对整个矿山六大系统的安全监测和监控，且设备层未指明终端层应具备分布式计算和智能感知的特点，应用层的应用场景和景象平台也不够完善和清楚。同时，尚缺少面向煤矿安全生产视频AI识别的详细系统构架，使得系统从终端智能感知层、连接层、边缘计算层、云服务层、应用层形成完整的数据链和工业互联网应用体系。

矿山“人−机−环”全域AI视觉信息感知增强现实理论研究中将人员、机器、环境看作一个系统的三大要素，在深入研究三者各自信息表达的基础上，借鉴于前人对云−边−端协同感知计算系统的研究，笔者提出了煤矿人−机−环全域视频AI感知的云−边−端协同计算系统架构，如图4所示。

图  4  煤矿人-机-环全域视频AI感知的云-边-端协同计算系统架构

Figure  4.  Cloud-edge-terminal collaborative computing system architecture based on human-machine-environment global video AI perception in coal mines

下载: 全尺寸图片 幻灯片

该系统构建了视频识别端节点传感器、边缘计算设备、视频识别场景云服务应用体系，提出了智能识别与预警联动控制响应机制，打通了人−机−环信息交互感知与联动控制数据链，实现了数据共享联动和预警协同，形成了全面感知、实时互联、分析决策、自主学习、动态预测、协同控制的煤矿安全监管多维度主动感知新模式和工业互联网应用平台。

按照各环节自身属性和功能的不同，煤矿人−机−环全域AI视频识别的云−边−端协同计算系统构架又可以分为以下5个层面：

1）应用层：该层系统的建设提供整个矿山的智能监控安全预警，保证矿山的生产安全，预警种类包括人员异常、环境隐患等三违监管和采、掘、运智能监测与控制。实现视频实时监控、分级权限管理、告警视频取证、数据分类统计、设备运维管理、各类图像识别异常事件的处理，实时监控整个事件闭环业务处理流程，包括事件接收、上报、处理、情况跟踪和结果反馈。此外，该层还为第三方系统提供了相关的共享数据接口服务，提供系统扩展与集成能力。

2）服务层：该层包含虚拟化管理、负载均衡、容灾支持、监控平台以及弹性资源分配。私有云平台通过虚拟化等技术支持，实现了整体系统易于弹性伸缩、水平拓展，提升运维效率，保障系统整体的安全高效性，系统汇集感知层终端和边缘计算引擎获取的数据，通过数据清洗和分析，为业务应用层提供环境监控、设备监控、人员监控、移动推送、短信、设备管理、分级数据以及综合联动控制等各项支撑性和功能性服务，最终构建形成实时分析、自主学习、动态预测、预警决策、协同控制的煤矿视频主动识别预警和智能化联动新模式。

3）边缘计算层：该层通过各个边缘计算节点对各类终端获取视频信息中的实时性高、短周期和本地决策数据进行分布式计算和处理，保障对安全隐患的分析直接在边缘端进行判断并给出结果信息，同时还接收来自云服务端更新好的模型进行加载和并行计算，实现监控终端的装备更加高端化和智能化。

4）终端层（感知层）：该层系统所包含的智能监控终端设备分布在各采煤与掘进工作面、运输主巷道路、泵房、变电站等处，为系统提供类似“神经元”的感知能力，收集诸如人员误入、乘车违章、输送带撕裂、堆煤、跑偏等基础环境和人员行为结构化数据。同时提供云端与各感知层子系统之间的系统连接能力，提供WebSocket、Socket、Http/Https以及Modbus-TCP等协议的连接和管理能力、打通安全的数据传输通路。

5）连接层：该层主要是采用有线、无线及二者相结合的方式，主要通过4G、5G、WiFi6、光纤、电缆等方式实现各个数据层的通信与交互，保证了系统云端服务与感知及决策联动系统间的双向实时通信的高效性和整体性。

2.   煤矿复杂环境下的视频监控目标检测和识别方法

在矿井狭长巷道内，人造光源照明不均匀、高尘雾^[25]、复杂电磁环境干扰、机载移动视点或监测目标位置动态变化时，使得监控目标在成像时存在过曝光与弱曝光、图像边缘模糊、抖动拖影、伪影等现象^[26]，严重影响对其关键特征信息的提取和分析，进而出现误报率和漏检率较高的问题。因此，结合煤矿人−机−环特殊工况条件及边缘计算需求，开发出适用于煤矿复杂环境的轻量级图像预处理技术是实现安全隐患实时感知与精准识别的先决条件。

2.1   煤矿井下图像预处理技术

在视频AI分析及识别中，视频帧在输入算法处理前的质量高低直接影响着后续高级图像处理任务的精度和效果。而预处理则是通过数字图像处理技术消除图像中的干扰甚至无关信息，恢复、增强或者重建相关的有用信息，从而最大限度地提取特征显著、鲁棒、简洁的信息。图像预处理技术根据方法和原理的不同主要分为复原法、增强法和超分辨率重建法。

2.1.1   基于图像复原技术的预处理

基于图像复原技术的预处理方法主要通过暗原色先验和大气散射模型的图像处理方法对矿井降质图像进行增强。张谢华等^[27]基于暗原色先验知识获取了大气光参数和粗透射图，并通过双边滤波方法实现了对煤矿图像的增强。王启明等^[28]结合插值法和滤波获得粗透射图，并通过强化粗透射图边缘，实现对煤矿井下环境的图像增强。然而上述方法忽略了噪声对降质图像的影响。

2.1.2   基于图像增强技术的预处理

图像增强技术根据增强处理过程所在的空间不同可以分为基于空间域和基于频率域的图像增强。

1）基于频率域的图像增强。基于频率域的图像增强是将空间域的图像通过傅里叶变换转化为频域进行处理，不仅可以更加直观地分析图像的频率、幅值和相位成分，在减小计算量的同时还可以更加高效地实现图像的去噪、压缩、去雾等一系列增强。根据频率域滤波器属性的不同，频率域滤波又可以分为高通滤波、低通滤波以及同态滤波。应东杰等^[29]基于小波变换对图像进行分解，然后利用直方图均衡化对低频信息进行处理,实现对图像的增强。处理结果较好地增强了图像细节信息，从整体上改善了图像效果。范凌云等^[30]结合直方图匹配方法和小波变换，实现了对煤矿环境中模糊图像的增强。范伟强等^[31]基于小波变换将矿井降质图像分解为低频子图和高频子图，通过贝叶斯法自适应调整小波阈值函数，实现了对煤矿复杂光照条件下视频监控系统中图像的增强。尽管上述频域变化方法通过调节小波分解后的高频和低频子图，从而能够实现对煤矿视频监控系统的图像增强，但该方法并未实现对低频信息的处理，导致无法很好地改善图像亮度。

2）基于空间域的图像增强。基于空间域的图像增强根据处理对象的模式不同可以分为点运算和局部运算，其中点运算又可以分为灰度变换、直方图均衡化、归一化和局部统计法等。局部运算也被分为图像平滑和图像锐化两大类，常用于对图像的各种去噪、抗光照和去雾增强。直方图均衡化^[32]是经典的基于空域变换的图像增强算法，但容易受噪声的干扰，出现图像过增强现象。目前，国内外学者主要基于Retinex算法研究基于空域变换的图像增强方法^[33]。Retinex算法的原理是降低图像反射光的影响，从而提升图像的真实感^[34]。在Retinex算法的基础上衍生出了多种改进算法：单尺度Retinex算法^[35]、多尺度Retinex算法^[36-37]和带有颜色保护的多尺度Retinex算法^[38-40]。笔者提出了基于引导滤波的单尺度Retinex算法，实现了对煤矿井下的图像增强^[41]。单尺度Retinex算法尽管复杂度低，但亮度改善有限，而且参数很难进行选择。为了克服上述问题，学者们提出了多尺度Retinex算法，但该方法将放大噪声。带有颜色保护的多尺度Retinex算法能够解决噪声和局部细节失真问题，但运行处理速度较慢。

为解决多尺度Retinex算法存在的局限性，学者们开始尝试将小波变换方法、双边滤波理论等与Retinex算法进行有机结合。唐守峰等^[42]结合小波变换与多尺度Retinex算法，提出了煤矿井下低照度图像增强算法（图5），解决了多尺度Retinex算法的噪声放大问题，有效提升了图像边缘细节保持效果。张立亚等^[43]提出了一种煤矿井下图像增强方法，首先将图像由RGB空间转换到HSV空间，并通过融合双边滤波理论与多尺度Retinex算法，实现对图像的增强，提升了粉尘和低照度等条件下煤矿视频图像的效果。DU等^[44]提出了一种基于Retinex理论和小波多尺度的矿山图像增强算法，试验结果表明该算法具有实时性强和精度高的特点，适用于低照度矿井的图像增强。

图  5  基于小波变换与多尺度Retinex的矿井低照度图像增强算法流程^[42]

Figure  5.  Mine low-light image enhancement algorithm flow based on wavelet transform and multi-scale Retinex^[42]

下载: 全尺寸图片 幻灯片

2.1.3   基于图像超分辨率重建的预处理

针对井下特殊环境，导致的图像细节模糊，特征信息丢失问题，国内外机构尝试采用高精度的硬件采集设备，通过提高前端相机传感器像素精度来改善传输到中央处理器的视频信息分辨率，但是其成本极高，且其无法抑制因网络传输带宽限制而导致的图像降质问题。图像超分辨率重建算法通过提升矿井低分辨率图像的质量，实现对图像的增强，得到了国内外学者的广泛关注与研究。

图像超分辨率重建方法主要有插值法、重建法和学习法，如图6所示^[45]。插值法主要包含最近邻域插值法、双线性插值法、小波变换插值法等^[46-48]，通过图像插值方法能够获得平滑的重建图像，但易受噪声干扰，也容易丢失细节。重构法通过多幅低分辨率图像与未知高分辨率图像，提取所需要的图像特征信息并进行图像重构^[49]。相比插值法，重建法能够进一步提高图像质量，但容易受到先验信息的制约^[50]。

图  6  图像超分辨率重建方法分类^[45]

Figure  6.  Classification of image super-resolution reconstruction^[45]

下载: 全尺寸图片 幻灯片

随着深度学习技术的发展，基于学习的图像超分辨率重建方法也得到了广泛的关注，其效果明显优于插值法和重建法^[51-53]。学习法的核心是从图像样本库中学习到低分辨率和高分辨率图像之间的映射关系，从而实现对图像的超分辨率重建^[54-55]。宋玉龙^[56]提出了一种双通道反馈残差网络重建算法，实现对矿井图像边缘细节的重建，很好地恢复了矿井图像的边缘特征。面向煤矿安全生产视频AI识别系统，笔者^[57]提出了基于深度残差网络的单图像超分辨率重建方法。在此基础上，笔者^[58]又提出了一种基于多通道递归残差学习的图像超分辨率重建方法，其网络结构如图7所示。该方法主要包含特征提取和图像重建两部分，利用递归方法将残差网络块进行复用，引入一种交叉学习机制，加速不同通道特征信息融合，然后采集并融合不同卷积核下的特征信息，一起输入到共用的重建网络中，实现对落煤口和输送带的异物图片的重建，使得图像更加清晰、细节信息更多，提高了煤矿安全生产视频AI识别系统对人−机−环等安全隐患的检测精度。该图像超分辨率重建方法不仅能够解决矿井下采集到图像像素较低的问题，还能解决图像重建过程中较浅网络的图像特征信息容易丢失的问题。

图  7  井下超分辨率重建图像增强网络结构^[58]

Figure  7.  Image enhancement network structure for downhole super-resolution reconstruction^[58]

下载: 全尺寸图片 幻灯片

2.2   矿井复杂场景下异常安全隐患检测与识别技术

煤矿井下煤灰及粉尘浓度大、色彩辨识度低、前后景对比度差，导致背景信息常被误检为目标及前景目标被漏检等问题发生，使得对异常安全隐患的识别难度大幅增加。因此，研究面向矿井复杂环境下的目标检测与识别方法对实现安全隐患的精准感知和识别预警至关重要。

2.2.1   基于视频AI分析的目标检测技术

传统的目标检测算法主要有帧差法^[59-60]、光流法^[61-62]和背景差分法^[63]等，但帧差法对噪声敏感，光流法却对光源敏感。由于煤矿环境光照不足、粉尘大、噪声大等原因，传统帧差法和光流法很难适用于煤矿环境的目标检测。目前，主要基于背景差分法对井下目标进行视觉检测。张谢华^[64]提出了基于聚类技术的煤矿视频监控环境背景建模方法，并通过聚类修改和删除的方式动态更新背景，而且结合像素亮度和纹理特征对运动目标进行检测。张小艳等^[65]提出了基于改进高斯混合模型的背景差分法，实现了对煤矿井下视频目标的检测，并与传统混合高斯算法和三帧差分法的试验结果进行了对比分析，结果表明改进高斯混合模型提高了噪声抑制能力、算法处理速度和检测精度。然而，虽然上述算法对煤矿视频目标进行检测取得了不错效果，但仍然存在拖影、噪声大等现象，而且模型更新中固定不变的阈值导致计算速度变慢。

随着深度学习技术的发展，国内外学者逐渐将深度学习应用到了煤矿环境视频目标的检测领域。许鹏^[66]基于Fire-Dense-YOLO算法对煤矿井下皮带异物进行了检测，研究了提高检测精度的影响因素，并与YOLO-V3-Tiny检测算法进行了实验对比分析，结果表明所提方法在计算量、实时性与精度上均优于YOLO-V3-Tiny检测算法，实现了对煤矿井下输送带异物的精准检测。胡璟皓^[67]提出了损失函数和数据增强改进方法，对YOLO-V3检测算法进行了改进，实现了对带式输送机非煤异物视频目标的检测。为了解决煤尘、光照不均等干扰造成输送带异物目标图像检测效果不佳的问题，郝帅等^[68]提出了一种融合卷积块注意力模型的YOLOv5目标检测算法（图8），并以某煤矿输送带的视频监控数据进行了实验测试分析，与YOLOv3、YOLOv4和YOLOv5目标检测算法相比，所提算法具有最高的异物检测精度。然而，虽然上述基于深度学习方法的检测效果要优于传统算法，但是在网络模型的参数量、实时性和识别精度方面仍然亟需得到显著的提升。

图  8  融合卷积块注意力模型的YOLOv5目标检测算法结构^[68]

Figure  8.  YOLOv5 object detection algorithm structure with convolution block attention model^[68]

下载: 全尺寸图片 幻灯片

笔者所在团队^[69]也基于深度学习技术对目标检测方法进行了大量研究，并将所提方法应用到了煤矿环境视频AI识别系统中。针对矿井复杂环境下前后景对比度低、目标特征信息不明显所导致的误检、漏检，以及基于深度学习的网络模型参数量大、实时性差的问题，笔者提出了一种用于运煤输送带异物检测与分类的融合残差信息轻量级网络^[69]，其整体的网络结构如图9所示。为增强对细节信息的特征提取能力，该网络采用改进的残差结构作为基本特征提取单元；此外，通过采用交叉学习机制和特征拼接的信息融合方式以获取不同尺度的特征信息，在提高特征利用率的同时，还增加了原始特征的表现力；同时，该方法还在精简信息融合网络结构的同时增加了信息融合网络的个数，并通过增加更多的权重来进行更详细的特征表达，从而有效地提高了网络的扩展性。在网络前向传播时，又通过对损失函数进行损失阈值处理，改善了测试集损失函数升高的问题，进而增强所提出网络的泛化性。最后，通过将该文所提出的网络模型与当前主流方法在构建的煤矿数据集和公共标准数据集上进行试验和分析，结果表明该网络模型在精度得到有效提高的同时，模型的参数量和计算耗时也得到了明显降低。

图  9  复杂场景下物体检测的研究方案^[69]

Figure  9.  Research scheme of object detection in complex scenes^[69]

下载: 全尺寸图片 幻灯片

2.2.2   基于视频AI分析的目标识别技术

由于颜色信息的运动目标识别经常受到非均匀照明、相似颜色干扰、区分度低等多重因素的影响，且单一颜色特征不能很好地描述和识别运动目标。为此，学者们提出了将颜色信息与纹理信息相结合的方法^[70-71]，提高目标识别精度。此外，部分学者将颜色和纹理信息融合方法逐渐应用到了煤矿环境的目标识别领域。ZOU等^[72]提出了灰度共生矩阵的纹理特征识别方法，对煤矸石块体和刮痕矸石块体进行了识别，实验测试结果表明所提方法具有良好的识别精度。王超等^[73]首先分析煤块与岩石纹理存在的差异性，然后生成煤块与岩石图像的灰度共生矩阵，并提取出煤岩图像纹理特征参数，最后实现对煤岩的识别。

针对煤矿井下目标的颜色信息易沾染煤灰以及受不均匀光照干扰和高噪声影响导致误检、漏检率较高的问题，笔者所在团队^[74]提出了一种基于颜色和纹理信息的运动目标识别装置及方法，方法主要包括图像预处理模块、特征提取模块、特征融合模块和目标识别模块，具体流程如图10所示。首先对输入图像进行中值滤波以消除噪声的影响，然后分别将图像转换成适合于颜色纹理特征提取的结构模式；再对转换后的HSV空间中的H和S分量进行提取，同时对转换后的灰阶图像中的几何表面曲率进行提取和编码，并将编码结果与经典的LBP编码进行纹理特征信息的融合，分别采用Bhattacharrya系数和卡方距离核对2种提取的特征信息进行相似性度量，并把求得的相似度向量进行归一化后特征融合；最后用最邻近分类器进行目标匹配和识别，从而实现复杂环境下目标的高精度识别和感知。

图  10  基于颜色和纹理信息的运动目标识别方法流程^[74]

Figure  10.  Flow of moving target recognition method based on color and texture information^[74]

下载: 全尺寸图片 幻灯片

随着深度学习技术的发展，黄瀚等^[75]结合动态注意力机制与多层感知卷积神经网络，提出了面向煤矿复杂环境下的人员行为识别方法，解决了煤矿监控视频模糊且人员行为复杂等因素影响下目标识别精度低的问题。YANG等^[76]设计了一个自适应的融合单元，用于融合多个层次特征和卷积神经网络中的注意力机制，实现对煤矸石的识别。刘浩等^[77]面向煤矿人−机−环复杂环境，提出了基于OpenPose神经网络的人体关键点识别方法，并利用YoloV3神经网络对设备与环境进行识别，同时基于ST-GCN神经网络对不安全行为进行识别。王伟峰等^[78]基于YoloV5神经网络提出了矿井火灾视频图像的识别方法，提高了矿井火灾的识别精度。方崇全等^[79]通过所构建的深度神经网络模型实现了对煤矿井下人员、煤流等特征不显著目标的视频智能识别，提高了带式输送机巡检机器人的识别精度。笔者基于改进深度残差网络提出了图像识别分类方法^[80]，实现了对煤矿井下煤矸的识别与分类，降低了图像实际噪声对图像质量的影响。然而，上述基于深度学习的方法是采用有监督方式通过大量的样本训练以得到鲁棒的识别模型，而煤矿复杂工况下的部分重大事故隐患样本极少，导致对部分场景如输送带撕裂、冒顶、片帮、涌水等重大事故的监测精度仍然较低。而无监督的学习方式虽然不需要大量的样本进行训练，但是当前最先进的算法模型在公共标准数据集上的测试结果仍然远远难以达到实际工业现场应用的要求，因此未来仍需在AI视觉分析方面做进一步技术研究和理论基础的提升。

3.   煤矿安全生产视频AI识别典型应用场景

目前，煤矿安全生产视频AI识别关键技术已经在我国的中煤集团王家岭煤矿、山东能源集团鲍店煤矿、东滩煤矿等代表性煤矿进行了示范应用和推广，极大地推动了我国煤矿安全生产的进步和发展。由于各个矿井生产环境及应用场景的不同，结合每个矿井的自身独特工况条件和共性典型场景，选取5个典型应用场景介绍视频AI识别技术的应用情况。

3.1   基于视频AI识别的人员标准化作业行为监管系统

中煤华晋王家岭煤矿所构建的基于视频AI识别的人员标准化作业行为监管系统通过多维度、多角度的视频识别、分析及统计，可及时发现隐患，保障煤矿安全生产制度落实，显著提升煤矿安全生产水平，为安全生产提供决策支撑。系统由主控计算机、视频智能识别分析装置、AI服务器、矿用本安型摄像仪、矿用本安型图像处理摄像仪、矿用本安型人脸识别摄像仪和工业环网等组成，能够对如下场景进行监管：

1）实现井下人员各种违章行为的智能识别，如禁烟的要害场所内吸烟、井下未规范佩戴安全帽及个人防护用品、岗位工班中脱岗或睡岗、进入盲巷或划定的危险区域、违章乘坐矿车、斜巷行车不行人、乘坐输送带、胶轮车闯红灯等。人员标准化作业行为监管界面如图11所示。

图  11  人员作业行为监管画面

Figure  11.  Personnel work behavior supervision screen

下载: 全尺寸图片 幻灯片

2）可以对变电所、水泵房等重要场所定期巡检，监管主副井的定时验绳检修任务，以及对是否按时执行任务进行精确识别，分析统计任务完成情况。

3）电子围栏、危险区域检测，在指定区域的所有出入口安装摄像仪，对进出的人员进行统计，实现区域的闭合管理，超员报警，输出控制命令闭锁作业设备；统计提升罐笼的人数，超员报警并输出提升机闭锁命令；监管掘进工作面、综采工作面、防突、卸压作业区域人数，并能够在超员情况下进行报警闭锁。电子围栏、危险区域检测识别画面如图12所示。

图  12  电子围栏、危险区域检测识别画面

Figure  12.  Electronic fence and dangerous area detection screen

下载: 全尺寸图片 幻灯片

3.2   基于视频AI识别的煤矿输送带运输智能控制系统

山东能源集团鲍店煤矿利用视频AI分析技术，对主煤流运输系统的输送带煤量、异物、堆煤及跑偏进行识别和分析，对实时煤量进行识别，进行智能调速和运量统计，对危险区域闯入、输送带轴承及滚筒超温进行监测，实现全煤流管控区域的视频检测、隐患的智能报警闭锁，提高系统响应速度，提升煤矿安全智能化管理水平。系统将视频识别分析、工业联动控制等功能集成为一体，利用矿用本安型图像处理摄像仪、AI控制主机、远程控制设备等组成一个智能化、多功能、全天候的动态视频智能识别系统。通过将机器视觉分析识别与工业控制相结合，实现对矿井环境及物品（设备）状态等的识别，并能联动煤矿井下输送带等主要生产设备进行自动保护停机、智能调速控制等。此外，系统可以精确识别输送带的煤量变化，统计输送带的实时运煤量，对输送带进行精准调速，减少设备磨损并能够降低能耗。此外，还可以识别输送带转载点堆煤、输送带大块、锚杆、水煤、异物、输送带跑偏、输送带撕裂、输送带架倒架、滚筒超温等异常情况，并能够报警和控制输送带保护停机。输送带撕裂、异物识别、跑偏及超温监测界面如图13所示。

图  13  输送带撕裂、异物识别、跑偏及滚筒超温监测画面

Figure  13.  Belt tearing, foreign object identification, deviation and roller over-temperature monitoring screen

下载: 全尺寸图片 幻灯片

3.3   基于视频AI识别的提升机高速首尾绳智能检测系统

基于视频AI识别的提升机高速首尾绳智能检测系统通过视频AI识别完成提升机首绳、尾绳各种状态分析、检测及预警，可替代人工查绳。首绳损伤检测包括直径变化、捻距变化、钢丝绳外部损伤（断丝、磨损、锈蚀）等；尾绳状态监控包括尾绳摆动异常、尾绳脱落、尾绳散股、尾绳缠绕等。山东能源集团东滩煤矿提升机首尾绳监测画面如图14所示。

图  14  东滩煤矿提升机首尾绳监测画面

Figure  14.  Dongtan coal mine hoist head and tail rope monitoring screen

下载: 全尺寸图片 幻灯片

山东能源集团东滩煤矿基于图像处理与模式识别技术，研发应用基于视频AI识别的提升机高速首尾绳智能检测系统，可完成提升机首绳、尾绳各种状态分析、检测及预警，替代人工查绳。系统投入后，实现了提升机首尾绳全生命周期分析、隐患检测、预警、存档及管理，改善了提升系统查绳效率和质量，降低职工劳动强度，并进一步提升了煤矿行业的生产效率和管理水平。系统主要由移动巡检装置、精密轨道、图像处理工作站，工程师操作站等组成。移动巡检装置运行于轨道上，通过预设位置，自动/手动运行到待检测位置，进行智能检测。

3.4   基于视频AI识别的掘进工作面安全生产管理及预警系统

基于视频AI识别技术建设掘进工作面安全生产管理及预警系统示范点，能够实现以下功能：

1）掘进工作面关键作业工艺过程监管：对掘进工作面敲帮问顶、前探梁安装、背板结顶等关键作业工艺过程进行智能识别监管，对违规行为进行抓拍报警，并能够对掘进区域的人员数量进行统计，超员报警并能闭锁设备。

2）掘进机危险区域人员入侵识别：掘进工作面智能视频识别及安全管理系统能够与掘进机进行联动控制，通过在掘进机工作的周围划定危险区域，当识别到有人员闯入时，联动掘进机禁止启动或控制掘进机停机，同时矿用本安型AI图像处理摄像仪现场发出语音提醒和告警，其监控识别画面如图15所示。

图  15  掘进工作面智能视频识别及安全管理系统画面

Figure  15.  Recognition screen of intelligent video safety management system in excavation work area

下载: 全尺寸图片 幻灯片

3.5   基于视频AI识别的钻场智能管理系统

基于视频AI识别技术建立钻场智能管理系统示范点，能够实现以下功能：

1）依据钻孔施工管理要求，实现对瓦斯钻孔施工地点、时间、施工单位、钻孔设计参数等数据信息填报和审批，同时还可下达AI识别指令。

2）采用云台球型摄像机作为AI分析摄像机，井上调度人员可以通过客户端软件调整摄像机角度。

3）采用深度学习技术自动计数验钻，降低劳动管理强度，计数更准确；智能识别自动计数后可将钻杆数量实时显示在操作盒上便于打钻人员实时查看；通过将打钻视频与钻孔台帐关联，有效杜绝谎报进尺、违章操作、打假孔。

4）系统能够将钻场的设计参数、施工过程参数、施工人员等按照打钻过程需要记录在案，形成电子文件存档，作为打钻管理的一部分；可自动统计出日报表、月报表、统计报表、异常报表、钻杆计数报表等，其系统识别界面如图16所示。

图  16  钻场智能管理系统识别界面

Figure  16.  Drilling site intelligent management system identification screen

下载: 全尺寸图片 幻灯片

4.   目前存在的难点问题与发展对策建议

4.1   煤矿安全生产视频AI识别系统的难点问题

1）针对煤矿安全生产的视频AI分析及识别关键技术理论薄弱。一方面，现有应用于煤矿安全生产监控的方法均为基于深度学习的有监督视频AI识别算法，该类型算法需要大量样本对模型进行训练和优化，而煤矿特殊工况下的安全隐患及事故样本较少，如输送带撕裂、冒顶、片帮等，致使难以获得大量的样本对模型进行升级和训练，导致该类型隐患事故的识别精度极低。另一方面，基于深度学习的无监督视频AI识别算法虽然不需要大量的样本进行训练，但是目前其技术理论尚不成熟，在识别精度和速度方面均达不到煤炭工业现场实际应用的需求。因此，亟需在基于深度学习的无监督视频AI识别关键技术及理论方面进行突破和创新。

2）智能视频分析和识别终端规格模式不一、应用场景混杂。现有智能终端所采用的核心板多种多样，功耗、算力及适用的应用场景均不一致。当前所采用的主流核心板有华为Atlas系列、百度Edgeboard系统以及基于海思、龙芯、汉芯等芯片的定制开发系列。算力和功耗的不同致使智能终端的种类和应用场景也差异较大。另一方面，现有的智能终端应用场景过于混乱，并非所有的场景都需要采用智能终端，除一些高速变化场景的监测和识别外，其他低速及固定缓慢变化场景的监测则可通过后端进行分析和处理，该类型的场景传输所占用的带宽较低，且对于实时性的要求并非特别高，采用此种方法不仅可以降低系统的造价成本，且便于后台的更新升级和维护。

3）各边缘计算节点及智能终端的接口协议与云服务平台的通信兼容性差。现有的智能终端、AI视频分析装置及边缘计算节点的通讯接口协议多样，且数据的类型和模式也各有不同，致使云服务平台难以快速地同各终端进行通信和数据交互。因此，一方面需要规范和统一智能终端的接口协议类型，另一方面需要开发多源数据融合和协议自动匹配的智能网关，以同时促进云端与边缘端的协同感知交互。

4）系统与其他煤矿智能化系统之间的联动能力较差。目前基于视频AI识别的监测子系统与煤矿其他监控子系统融合度还不够，缺乏完善的多系统融合以及数据联动机制，导致煤矿智能化监控系统协同性较差，无法最大程度上避免煤矿安全事故的发生。因此，对煤矿安全生产视频AI识别系统与其他智能化系统的联动机制将成为未来一个主要的研究方向。

5）系统数据库安全性较弱。目前主要采用在云端通过数据库的形式存储海量的视频监控数据，这种云端集中管理的方式很难保障监测数据传输和访问的安全性。区块链^[81]、网络信息安全与数据库技术能够有效防止数据被篡改，同时也能够避免集中管理模式的局限性和数据存储占比。因此，区块链、网络信息安全与数据库技术在煤矿安全生产视频AI识别系统上的应用，将成为未来的一个发展趋势。

6）煤矿安全生产视频AI识别的关键技术标准体系、运行管理规范和安全规程体系仍需完善。尽管目前煤矿安全生产视频AI识别系统已经在我国王家岭、鲍店、东滩等上百座煤矿进行了应用，但是仍然缺乏统一的系统建设和应用标准，尚未对煤矿安全生产视频AI识别系统的运行管理规范、安全规程体系和评价标准进行规定，使得很难大规模将系统应用推广到我国其他煤矿中。因此，通过制定煤矿安全生产视频AI识别系统的相关标准，实现对系统的示范应用推广，是未来一个发展趋势。

4.2   煤矿安全生产视频AI识别系统的发展对策

1）加强煤矿视频AI识别关键技术及理论的研究。加大对新样本图像生成方法中随机变换、随机扰动等数据增强技术的研究，构建基于小样本学习与无监督学习等多方式相结合的交叉复合识别模型，推动煤矿智能化建设快速发展。

2）建立规范、标准、适用性强、兼容性高的智能视频分析与识别终端应用新模式。依据应用场景变化快慢、采集视频像素分辨率和摄像仪曝光频率高低，划分出适用性强、兼容性高的煤矿智能视频分析与识别终端的标准新规格，促进智能终端的规划化和便捷化应用。

3）深化煤矿视频AI感知数据融合通信与云−边−端协同决策的关键技术理论。针对上小节问题3和问题4的难点，加强对多信号制式汇集、多源异构信息统一描述、协议特征自动匹配等关键技术的研发，研制多源数据高效融合与协议自动匹配的智能网关，并在决策端构建完善的专家决策系统和与优先权判断机制，实现云−边−端之间数据与决策的互联互通。

4）加快视频数据结构化、网络信息安全、区块链等新技术的攻关。深入研究视频数据结构化、信息密码学与区块链技术，开发可靠的数据结构与数据库系统新构架，建立网络自动扫描与入侵检测等主动式防攻击新策略，并降低海量视频数据的存储占比。

5）建立健全煤矿安全生产视频AI识别体系建设标准。加快煤矿视频AI识别系统共性标准的制修订，优化完善关键技术标准体系、运行管理规范和安全规程体系，形成统一、规范、完善的煤矿煤矿安全生产视频AI识别体系标准，推动煤矿智能化建设的高质量发展。

5.   结　　论

1） 煤矿安全生产视频AI识别关键技术及系统是煤矿安全隐患监测及预警的“大脑”，以边缘计算、大数据分析、云服务、工业互联网、计算机视觉和智能感知终端等技术与装备为核心，实现基于视频内容识别的矿井“人−机−环”重大安全隐患辨识和监管预警。

2） 煤矿安全生产视频AI识别系统构建了视频识别端节点传感器、边缘计算设备、视频识别场景云服务应用架构，形成了智慧矿井“广覆盖、早感知、深融合、自辨识、准预判、全管控”的工业互联网应用平台新体系和新理念。

3） 煤矿安全生产视频AI识别系统的建设是人工智能技术与智慧矿井建设的深度融合，是促进煤炭资源安全高效绿色开发和煤炭工业高质量发展的必由之路。