Interference state intelligent recognition method for shearer drum and hydraulic support guard plate of improved YOLOv5s algorithm
-
摘要:
针对综采工作面液压支架护帮板处于未收回异常状态导致采煤机滚筒与护帮板干涉问题，提出一种改进YOLOv5s的采煤机滚筒与液压支架护帮板干涉状态智能识别方法。运用课题组前期提出的基于边界约束和非线性上下文正则化的去雾去尘方法对视频图像进行清晰化处理，提高综采工作面监控视频图像质量；对YOLOv5s模型进行改进，通过将YOLOv5s主干网络中的普通卷积Conv替换为分类效果更佳的Ghost卷积，减少了模型的参数数量，提高了模型识别速度，同时引入坐标注意力机制，提高了模型对护帮板和滚筒特征提取能力，从而提高模型识别精确率。运用软非极大值抑制算法（Soft-NMS）的锚框筛选方法，减少因护帮板重叠而发生漏检问题。针对采煤机滚筒与液压支架护帮板干涉状态判定问题，提出液压支架护帮板与采煤机滚筒锚框重合度的判定方法。运用本文改进YOLOv5s模型与YOLOv5s、YOLOv3-tiny模型进行对比分析，结果表明：本文方法与原模型相比的识别精确率提高了约8.1%，GFLOPs降低1.86倍；mAP@.5达到97.2%、平均识别速度为检测时间为5.9 ms。运用本文方法对煤矿实际综采工作面采煤机滚筒与液压支架护帮板视频图像进行干涉状态识别试验验证，结果表明：对采煤机滚筒与液压支架护帮板干涉状态识别准确率为96%。
Abstract:For the problem of interference between shearer drum and hydraulic support guard plate, an interference state intelligent recognition method for shearer drum and hydraulic support guard plate of improved YOLOv5s algorithm is proposed. The use of boundary constraint and non-linear contextual regularization based on the group's previous proposed method of defogging and dust removal to clarify the video image, improve the quality of the monitoring video image of the comprehensive mining face. The YOLOv5s model is improved by replacing the ordinary convolutional Conv in the YOLOv5s backbone network with Ghost convolution, the improved algorithm greatly reduces the number of model parameters and improves the model recognition speed. At the same time, the coordinate attention mechanism is introduced to improve the model's ability to extract the features from the guard plate and shearer, and improve the recognition accuracy. The soft non-maximum suppression algorithm (Soft-NMS) anchor frame screening method is used to reduce the problem of missed detection due to overlapping guard plates. For the problem of determining the interference state of shearer drum and hydraulic support guard plate, the method for determining anchor box overlap degree between hydraulic support guard plate and shearer drum. The improved YOLOv5s algorithm is compared with YOLOv5s and YOLOv3-tiny algorithm. The results indicate that compared with the original YOLOv5s model, the recognition accuracy of this method has been improved by about 8.1%, and GFLOPs have been reduced by 1.86 times. mAP@.5 was increased to 97.2%, and the average recognition speed is 169 frames/s. The improved YOLOv5s algorithm is used to validate the interference state recognition effect for video images of shearer drum and hydraulic support guard plate in in actual fully mechanized mining faces, and the results show that the recognition accuracy of interference state between the coal shearer drum and the hydraulic support guard plate is 96%.
-
Keywords:
- shearer drum /
- hydraulic support guard plate /
- YOLOv5s /
- interference state /
- video image /
- intelligent recognition
-
0. 引 言
2020年，国家八部委联合颁发了《关于加快煤矿智能化发展的指导意见》，指出煤矿智能化是煤炭工业高质量发展的核心技术支撑，研究工作面智能化开采技术是实现煤矿智能化的关键。液压支架作为综采成套装备的重要组成部分，是实现煤矿井下安全生产的关键设备之一[1-2]。在综采工作面协同采煤过程中，采煤机、液压支架和刮板输送机自动协同工作是自动开采技术的核心。在采煤机割煤时，若在采煤机到达前液压支架护帮板没有收回时，将会出现护帮板与采煤机滚筒干涉[3-4]，导致截齿损坏甚至人员伤亡事故。因此，研究液压支架护帮板异常状态智能识别方法，对煤矿安全、高效、智能开采具有重要意义。
目前，在智能开采背景下，采煤机滚筒与液压支架护帮板干涉识别成为研究热点[5]。王妙云等[6]针对煤矿综采工作面设备间碰撞检测手段匮乏、预警困难等问题，运用虚拟现实技术、包围盒碰撞检测技术，仿真实现了采煤机滚筒与液压支架护帮板之间的碰撞检测功能。王渊等[7]利用雾尘图像清晰化算法与机器视觉测量方法对液压支架护帮板的收回状态进行非接触监测。满溢桥[8]建立了基于图像特征的护帮板位姿解算模型，设计了护帮板图像位姿特征提取算法对护帮板与滚筒截割干涉进行识别。综上所述，目前主要采用机器视觉检测液压支架护帮板的姿态来识别采煤机滚筒与护帮板干涉状态，但在煤矿综采工作面实际工况中存在设备遮挡、雾尘干扰等导致护帮板与采煤机滚筒边缘难以准确提取，因此直接通过视频图像识别护帮板位姿难以实现采煤机滚筒与护帮板干涉准确识别。
机器视觉技术广泛应用于模式识别中，但传统的图像识别方法通过提取图像特征进行分类识别，在实际工况中存在特征自适应提取难导致识别准确率不高的问题。深度学习可以直接对原始图像进行自适应特征提取，能够有效解决人为选取图像特征导致识别准确率不高的难题[9-10]。深度学习的目标检测算法有多种，而 Faster R-CNN、YOLO和SSD是应用最为广泛的3种[11-14]，其中Faster R-CNN准确率比较高，但是识别速度不高；SSD识别速度快，但是识别准确率不高；YOLO系列算法识别准确率和速度都较高[15-17]。因此，YOLO系列算法在煤矿井下应用比较广泛。魏强等[18]为了低性能设备上能满足实时检测，提出了一种融合图像去雾与Tiny-YOLOv3的目标检测方法，该方法能实时检测护帮板状态。张旭辉等[19]提出了一种基于改进YOLOv5s的护帮板识别方法，该方法能实时检测护帮板状态。但是，以上研究重点研究护帮板识别，而缺乏护帮板与采煤机滚筒干涉识别研究。
为此，提出一种改进YOLOv5s的采煤机滚筒与护帮板干涉状态智能识别方法。针对综采工作面环境恶劣，采集的视频图像受采煤时产生的尘雾干扰影响识别问题，运用前期课题组提出的去雾去尘方法[20]对采煤机滚筒与液压支架护帮板图像进行清晰化处理，为后续采煤机滚筒与液压支架护帮板干涉状态识别提供高质量的原始图像; 针对标准YOLOv5s参数量、运算量较大问题，使用Ghost卷积减少模型参数，提高模型识别速度；针对综采工作面干扰物体和特征较多问题，引入CA注意力机制，提高模型对护帮板和滚筒特征提取能力，从而提高模型识别精确率；针对因护帮板重叠而发生漏检问题，运用Soft-NMS锚框筛选方法替换原有模型中NMS锚框筛选方法；最终根据护帮板与滚筒的检测锚框重叠程度判定二者干涉状态。从而实现液压支架护帮板与采煤机滚筒干涉状态的智能精确识识别，对煤矿安全、高效、智能开采具有重要意义。
1. 干涉状态识别系统总体设计
1.1 摄像头布置
首先布置视频传感器，每间隔3～4台液压支架布置一个防爆云台摄像机，负责对应区域护帮板的图像采集，如图1所示。
1.2 滚筒与护帮板干涉状态
根据煤矿综采工作面液压支架护帮板的支护要求，护帮板须与采煤机协同运行。干涉状态护帮板图像如图2所示，当采煤机滚筒抵达时，红框中的两个护帮板未及时收回，即认为此处护帮板与滚筒发生干涉。每台矿用本安防爆摄像仪分别负责拍摄3到5个液压支架护帮板图像，当采煤机滚筒行进到对应位置矿用本安防爆摄像仪的视野内时，开始对该台摄像仪拍摄到的所有护帮板和滚筒进行识别。根据采煤工艺需求，在采煤机前进方向上，距离滚筒最近的护帮板应当及时收回，若未收回则认为这些护帮板将与滚筒发生干涉，这些护帮板将会被识别和发出报警信号。
1.3 数据集构建
试验所用的采煤机滚筒与护帮板数据集来源于黄陵2号矿，录制了30 d的该煤矿生产中与未生产时根据需求安装的58台防爆云台摄像头煤矿监控视频，并通过云台控制旋转摄像头拍摄煤壁上各个角度的液压支架护帮板各种状态图像。避免综采工作面推进中导致摄像头拍摄角度变化，增加识别模型的鲁棒性。采用opencv-python调取护帮板和采煤机工作视频，视频流每隔25帧保存1张图片，共得到15 000张煤矿井下真实图像。采煤机截割头标注为shearer，护帮板标注为warning。煤矿综采工作面存在大量粉尘和设备产生的水雾，导致采集到的图片质量差、煤矿井下目标模糊、细节丢失、能见度低、难以识别，无法为异常识别提供高质量图像。因此，首先运用我们前期提出的基于边界约束和非线性上下文正则化的去雾去尘方法对视频图像进行清晰化处理，处理结果如图3所示，实现了良好的去雾去尘处理。
![]()
图 3 综采工作面雾尘图像清晰化处理Figure 3. Clear processing of fog and dust image in fully mechanized mining face采用LabelImg软件在图像上以最小外接矩形框标注训练数据集的采煤机滚筒与液压支架护帮板。如图4所示，制作成采煤机滚筒与护帮板数据集，然后以8∶1∶1的比例形成为训练集、验证集和测试集。
1.4 干涉状态检测系统
采煤机滚筒与液压支架护帮板的干涉状态检测系统如图5所示。首先，在AI训练平台上训练基于改进YOLOv5s的目标检测模型，将异常状态检测模型部署到集控中心；其次，在进行采煤作业时，当采煤机滚筒进入对应位置的视频传感器视角内时，集控中心的推理服务器通过获取摄像头的视频流地址，采用OpenCV直接解码摄像头实时监控画面并识别，然后通过识别结果判断采煤机接近时护帮板是否未收回；最后，若检测结果为异常，监控系统进行异常报警和控制采煤机停机，防止与采煤机滚筒发生碰撞，同时保存识别结果。
2. 干涉状态识别方法
2.1 改进YOLOv5s的干涉状态识别方法
在综采工作面协同采煤过程中，若在采煤机抵达前液压支架护帮板没有收回时，将会出现运动干涉情况，因此需要实时监测并处理。
基于改进YOLOv5s的采煤机滚筒与液压支架护帮板干涉状态识别方法如图6所示。首先，输入未收回的护帮板和采煤机滚筒图像样本对模型进行训练，得到识别模型。然后在进行采煤作业时，当采煤机滚筒进入对应位置的视觉传感器视角内时，开始对该区域的视频监控图像进行去雾处理，接着将去雾图像输入到改进YOLOv5s模型完成护帮板与采煤机滚筒识别，得到的护帮板和滚筒锚框，然后通过计算两者锚框重合度Z，即可完成采煤机滚筒与液压支架护帮板的干涉识别。根据工况需求和大量实际视频分析，设定当重合度Z大于50%时报警，避免由于视角问题可能导致滚筒和护帮板目标框相交导致的误判现象。
![]()
图 6 基于改进YOLOv5s的干涉状态识别方法Figure 6. An improved interference state recognition method based on YOLOv5s1）当重合度小于50%时，即采煤机滚筒到达时护帮板为收回状态，监控视频显示绿色的“正常”。
2）当重合度大于50%时，则认为护帮板与采煤机滚筒距离过近，判定为已经发生干涉，则在监控视频对其识别框标红并显示红色的“警告”，表示为异常工作状态，提醒集控中心人员进行处理和控制采煤机停机，防止与采煤机滚筒发生碰撞。
2.2 锚框重合度Z计算
给定两个矩形A和B，矩形A的左上角坐标为（$ X_{\mathrm{a}1} $,$ Y_{\mathrm{a}1} $），右下角坐标为（$ X_{\mathrm{a}2} $,$ Y_{\mathrm{a}2} $），矩形B的左上角坐标为（$ X_{\mathrm{b}1} $, $ Y_{\mathrm{b}1} $），右下角坐标为（$ X_{\mathrm{b}2} $, $ Y_{\mathrm{b}2} $）如图7所示。
判断2个矩形的中心坐标的水平和垂直距离，只要这2个值满足一下条件就可以相交。
矩形A的宽：$ W_{\mathrm{a}}=X_{\mathrm{a}2}-X_{\mathrm{a}1} $，
高：$ H\mathrm{_a}=Y_{\mathrm{a}2}-Y_{\mathrm{a}1} $
矩形B的宽：$ W_{\mathrm{b}}=X_{\mathrm{b}2}-X_{\mathrm{b}1} $，
高：$ H_{\mathrm{b}}=Y_{\mathrm{b}2}-Y_{\mathrm{b}1} $
矩形A的中心坐标：
$$ {(X}_{{\mathrm{a}}3}{,Y}_{{\mathrm{b}}3})=\left(\frac{\left({X}_{{\mathrm{a}}2}+{X}_{{\mathrm{a}}1}\right)}{2},\frac{\left({Y}_{{\mathrm{a}}2}{+Y}_{{\mathrm{a}}1}\right)}{2}\right) $$ (1) 矩形B的中心坐标：
$$ {(X}_{{\mathrm{b}}3}{,Y}_{{\mathrm{b}}3})=\left(\frac{\left({X}_{{\mathrm{b}}2}+{X}_{{\mathrm{b}}1}\right)}{2},\frac{\left({Y}_{{\mathrm{b}}2}{+Y}_{{\mathrm{b}}1}\right)}{2}\right) $$ (2) 所以只要同时满足下面2个式子，就可以说明2个矩形相交。
$$ | {X}_{{\mathrm{b}}3}-{X}_{{\mathrm{a}}3} | \leqslant \frac{{W}_{{\mathrm{a}}}+{W}_{{\mathrm{b}}}}{2} $$ (3) $$ | {Y}_{{\mathrm{b}}3}-{Y}_{{\mathrm{a}}3} | \leqslant \frac{{H}_{{\mathrm{a}}}+{H}_{{\mathrm{b}}}}{2} $$ (4) 即：
$$ \left|{X}_{{\mathrm{b}}2}+{X}_{{\mathrm{b}}1}-{X}_{{\mathrm{a}}2}-{X}_{{\mathrm{a}}1}\right|\leqslant {X}_{{\mathrm{a}}2}{-X}_{{\mathrm{a}}1}+{X}_{{\mathrm{b}}2}{-X}_{{\mathrm{b}}1} $$ (5) $$ \left|{Y}_{{\mathrm{b}}2}+{Y}_{{\mathrm{b}}1}-{Y}_{{\mathrm{a}}2}-{Y}_{{\mathrm{a}}1}\right|\leqslant {Y}_{{\mathrm{a}}2}{-Y}_{{\mathrm{a}}1}+{Y}_{{\mathrm{b}}2}{-Y}_{{\mathrm{b}}1} $$ (6) 假设2个矩形相交，设相交之后的矩形为C，且矩形C的左上角坐标为（$ X_{\mathrm{c}1} $, $ {Y}_{{\mathrm{c}}1} $），右下角坐标为（$ X_{\mathrm{c}2} $, $ Y_{\mathrm{c}2} $），根据图6可以得到：
$$ {X}_{{\mathrm{c}}1}=\max{(X}_{{\mathrm{a}}1},{X}_{{\mathrm{b}}1}) $$ (7) $$ {Y}_{{\mathrm{c}}1}=\max{(Y}_{{\mathrm{b}}2},{Y}_{{\mathrm{b}}1}) $$ (8) $$ {X}_{{\mathrm{c}}2}=\min{(X}_{{\mathrm{a}}2},{X}_{{\mathrm{b}}1}) $$ (9) $$ {Y}_{{\mathrm{c}}2}=\min{(Y}_{{\mathrm{a}}2},{Y}_{{\mathrm{b}}1}) $$ (10) 矩形A的面积:
$$ {S}_{{{a}}}{=(X}_{{\mathrm{a2}}}{-X}_{{\mathrm{a1}}}\left)\right({Y}_{{\mathrm{a2}}}{-Y}_{{\mathrm{a1}}}) $$ (11) 矩形B的面积：
$$ {S}_{{{b}}}{=(X}_{{\mathrm{b2}}}{-X}_{{\mathrm{b1}}}\left)\right({Y}_{{\mathrm{b2}}}{-Y}_{{\mathrm{b1}}}) $$ (12) 矩形C的面积：
$$ {S}_{c}{=(X}_{{\mathrm{c2}}}{-X}_{{\mathrm{c1}}}\left){(Y}_{{\mathrm{c2}}}{-Y}_{{\mathrm{c1}}}\right) $$ (13) 这样就求出了矩形的重合度Z:
$$ {Z}=\frac{({X}_{{\mathrm{b2}}}-{X}_{{\mathrm{b2}}})({Y}_{{\mathrm{b2}}}-{Y}_{{\mathrm{b2}}})}{{S}_{{\mathrm{a}}}+{S}_{{\mathrm{b}}}-({X}_{{\mathrm{b2}}}-{X}_{{\mathrm{b2}}})({Y}_{{\mathrm{b2}}}-{Y}_{{\mathrm{b2}}})} $$ (14) 2.3 改进的YOLOv5网络结构
将YOLOv5主干网络中的普通卷积Conv替换为分类效果更佳的Ghost卷积，并在Backbone部分引入CA，改进的主干网络结构及识别过程如图8所示。
2.3.1 Ghost卷积提升识别效率
为了将多个模型并行部署到显存和内存较小的设备上，且实现对多个摄像头的实时识别的要求，通过GhostConv提高护帮板识别效率。
在YOLOv5深度学习网络中存在着大量冗余，如对模型的精度至关重要的特征图是由卷积操作得到，又输入到下一个卷积层进行运算，这个过程包含大量的网络参数，消耗了大量的计算资源。造成护帮板速度低，因此引入GhostConv代替Backbone主干特征提取网络中的普通卷积，可在提高模型检测速度的同时，仅损失较少的精度。
Ghost卷积[21]部分将传统卷积操作分为3部分：
1）如图9所示。首先将输入的特征图进行卷积，但是与常规卷积中输出的通道数为N不同，其首先得到红色框中的特征图，其输出的通道数为$ \dfrac{N}{2} $；
2）随后将红色框中的特征图的每个通道单独进行某种“线性变换”；
3）最后将以上2步操作所得到的特征图进行拼接来生成最终的特征图，得到与普通卷积相当的特征图，能够在不影响网络提取特征性能的同时减少参数量。
基于此，以Ghost模块为基础构建了Ghost卷积如图10所示。
2.3.2 引入CA提升识别准确率
由于煤矿井下环境复杂，井下目标尺度多样，影响YOLOv5s模型对图像中滚筒与护帮板特征信息的提取，造成识别准确率不高。引入了CA注意机制，帮助网络更准确地定位护帮板和滚筒，提高模型识别准确率。坐标注意力机制[22]（Coordinate Attention，CA）它不仅捕获跨通道信息，而且捕获方向感知和位置敏感信息，这有助于模型更准确地定位和识别护帮板。CA利用两个一维全局池化操作分别沿着X横轴方向和Y竖轴方向使用了不同大小的池化核如式（15）及式（16）所示。
$$ {{{\textit{z}}}}_{{{\mathrm{c}}}}^{{h}}\left({h}\right)=\frac{1}{{W}}\sum _{0\leqslant {i}\leqslant {W}}{{x}}_{{{\mathrm{c}}}}\left({h},{i}\right) $$ (15) $$ {{\textit{z}}}_{{{\mathrm{c}}}}^{{w}}\left({w}\right)=\frac{1}{{H}}\sum _{0\leqslant {i}\leqslant {H}}{{x}}_{{{\mathrm{c}}}}\left({j},{w}\right) $$ (16) 上述2个变换分别沿着两个空间方向聚集特征，生成一对具有方向感知能力的特征图，其中包含了较为精确的位置信息。然后将以上输出进行拼接，再通过1×1卷积进行变换，然后传递给卷积变换函数$ {F}_{1} $，如式（17）所示，其中δ为非线性激活函数， 其中$ {{\textit{z}}}^{h} $，$ {{\textit{z}}}^{w} $表示沿空间维度的拼接操作。
$$ f=\delta \left({F}_{1}\left(\left[{{\textit{z}}}^{h}\text{，}{{\textit{z}}}^{w}\right]\right)\right) $$ (17) 再利用另外2个1×1的卷积变换$ {F}_{h} $和$ {F}_{w} $ 分别将$ {F}_{h} $和$ {F}_{w} $变为通道数$ X$相同的张量，其中σ为Sigmod激活函数。如式（18）和（19）所示。
$$ {g}^{h}=\sigma \left({F}_{h}\left({f}^{h}\right)\right) $$ (18) $$ {g}^{w}=\sigma \left({F}_{w}\left({f}^{w}\right)\right) $$ (19) $ {g}^{h} $和$ {g}^{w} $分别作为注意力机制权重，最后CA注意力机制的输出如下：
$$ {y}_{c\left(i\text{，}j\right)}={x}_{c}\left(i\text{，}j\right)\times {g}_{c}^{h}\left(i\right)\times {g}_{c}^{w}\left(i\right) $$ (20) 将CA注意力机制添加至CSP模块中以及SPPF模块前，增强模型的特征提取能力，从而提高模型识别精确率。
2.3.3 Soft-NMS 锚框筛选方法降低漏检率
原始YOLOv5s中采用非极大值抑制算法(NMS)进行锚框筛选。但是，当一个物体B的边界框与置信度最高的边界框A相交，并且两边框的处于预设的重叠阈值之内，则会将物体B的边界框强制删除，这样可能会导致检测不到物体B，从而造成漏检，即液压支架护帮板存在重叠时会导致漏检。
因此文中在 YOLOv5s中引入 Soft-NMS 算法来代替原始的NMS算法，Soft-NMS 算法会对物体B的检测框的检测分数进行衰减而非彻底移除。根据高斯分布重置函数来解决漏检，对传统的 NMS 分数重置函数做改进如下：
$$ {{S}}_{{i}}={{s}}_{{i}}\frac{{{{\mathrm{e}}}}^{-{i}{o}{u}}({A},{{B}}_{{i}}{)}^{2}}{{\sigma }}\text{，}\forall {{b}}_{{i}}\notin {D} $$ (21) 其中，D为所有保留的有效框集合；$ {B}_{i} $为待过滤的第i个预测框；$ {s}_{i} $为第i个预测框对应的分类score；$ iou $为交互比。当两个框重合度越高时，$ {S}_{i} $的取值会越小，即降低相应框的得分，避免了因强制删除相应框而造成漏检的情况，从而提高目标检测精度。
2.4 评价指标
采用平均精度AP(Average Precision，AP) ，AP平均值(Mean Average Precision，mAP)作为目标检测的评价指标来评估训练出的模型。
$$ P=\frac{TP}{TP+FP} $$ (22) $$ R=\frac{TP}{TP+FN} $$ (23) $$ AP = \int_0^1 {P R {\text{d}}R} $$ (24) 其中，P为精确率；R为召回率；TP为预测值与真实值均为正；FP为预测值为负、真实值为正；FN为预测值为正、真实值为负。
3. 试验结果及分析
3.1 试验设备
试验中所使用设备参数如下：
配置名称 参数 操作系统 Windows 10 GPU NVIDIA GeForce RTX 3080 CPU Intel(R) Core(TM)i7-12700K 深度学习框架 Pytorch 3.2 消融试验结果
通过消融试验验证图像去雾、CA和GhostConv对整体模型的影响，试验采用相同的液压支架护帮板数据集和软硬件设备，所得护帮板识别精确率和耗时见表1。
表 1 YOLOv5s改进前后护帮板识别结果Table 1. Guard plate identification results of YOLOv5s improved before and after去雾 CA GhostConv 精确率 召回率/% mAP@.5% 平均检测时间/ms GFLOPs — — — 0.862 0.782 0.854 6.1 15.8 — √ — 0.894 0.906 0.951 6.4 16.2 — — √ 0.887 0.918 0.940 5.8 8.3 — √ √ 0.922 0.938 0.961 5.9 8.5 √ √ √ 0.943 0.93 0.972 5.9 8.5 从表2中可以看出，进行图像去雾处理后，识别精确率提高了2.7% ；在YOLOv5s模型中融入CA后（图11），增强了模型提取护帮板关键特征的能力和抗干扰能力，识别精确率相比于YOLOv5s提升了3.2%；当引入GhostConv后，识别精确率相比于YOLOv5s提高了2.5%，识别速度相比提高了5.1%；通过结合图像去雾、CA和GhostConv，改进YOLOv5s的识别精确率比YOLOv5s提升了8.1%，且识别速度提高了3.3%，GFLOPs降低1.86倍，说明改进后的网络在识别耗时减小的情况下有效提高了液压支架护帮板异常状态识别的准确率。运用本文改进YOLOv5s模型对护帮板识别结果如图12所示，结果表明本文改进YOLOv5s网络模型实现了护帮板准确识别。
表 2 YOLOv5s、YOLOv3-tiny方法与本文方法识别结果对比Table 2. Comparison of recognition results of YOLOv5s, YOLOv3-tiny and proposed method算法 mAP@.5 平均检测时间/ms YOLOv5s 0.854 6.1 YOLOv3-tiny 0.843 6.0 本文方法 0.972 5.9 3.3 Soft-NMS锚框筛选方法试验验证
为验证Soft-NMS锚框筛选方法，采用Soft-NMS锚框筛选方法和NMS锚框筛选方法对护帮板图像进行识别对比分析，结果如图13所示。
![]()
图 13 NMS与soft-NMS的护帮板识别结果对比Figure 13. Comparison of recognition results between NMS and soft-NMS for guard plates由于视频传感器布置角度的限制，图13中有2个护帮板发生重叠，并且重叠区域较大。在图13a中，没有将互相重叠部分的左边护帮板识别出来，而采用Soft-NMS代替NMS后，能够将左侧的护帮板正确识别，避免因护帮板重叠而发生漏检。
![]()
图 12 改进YOLOv5s网络的护帮板识别结果Figure 12. Identification results of guard plate based on improved YOLOv5s network3.4 不同深度学习算法对比分析
针对检测目标，选择目前使用广泛的单阶段目标检测算法YOLOv5s、YOLOv3-tiny算法对护帮板状态图像进行识别对比分析，识别结果如图14所示，其中图14a是文中方法的识别结果，图14b是YOLOv5的识别结果，图14c是YOLOv3-tiny方法识别结果。
![]()
图 14 3种深度学习方法识别结果对比Figure 14. Comparison of recognition results of three deep learning methodsYOLOv5s、YOLOv3-tiny方法与文中方法的平均精度和检测时间对比见表2。
从图14中可以得出， YOLOv5s和YOLOv3-tiny方法出现了误检结果，图14b中将轨道、采煤机机体误识别为护帮板，图14c中同样将采煤机机体误识别为护帮板，并且从表2中可得出，YOLOv5s和YOLOv3-tiny两种方法对护帮板图像的识别精度较低，而文中方法识别平均精度均值最高，mAP@.5达到97.2%。文中方法对每幅图像的平均检测时间为5.9 ms，能够满足实际工况中的检测速度需求。因此，综合3种方法识别结果对比分析，结果表明提出的方法识别效果最好。
3.5 改进YOLOv5s对现场不同环境影响识别验证
运用文中方法在黄陵二号矿实际现场视频进行识别。在有雾尘、有遮挡、光照不均匀、环境良好等不同环境下采用YOLOv5s和改进YOLOv5s进行护帮板与滚筒识别，结果如图15所示。由表3可知，改进YOLOv5s方法在现场不同识别环境下对护帮板和滚筒的识别精确度都较高，具有较好的识别能力。为后续干涉状态判断奠定良好基础。
![]()
图 15 不同环境下YOLOv5s和改进YOLOv5s的识别结果Figure 15. Test results of YOLOv5s and A-YOLOv5s in different test environments表 3 YOLOv5s与改进YOLOv5s不同环境下识别结果对比Table 3. Comparison of recognition results of YOLOv5s and improved YOLOv5s in different environments算法 识别环境 有雾尘 有遮挡 光照不均匀 环境良好 YOLOv5s 护帮板漏检 未检测出采煤机滚筒 漏检护帮板 误识别最右边已
收回护帮板改进YOLOv5s 准确识别所有护帮板，
没有出现漏检和误检当有物体遮挡采煤机滚筒时，引入CA的改进YOLOv5s模型
更精确地定位和识别采煤机滚筒被精确识别出来正确识别所有
护帮板正确识别所有护帮板 3.6 滚筒与护帮板干涉状态识别验证
为验证采煤机滚筒与护帮板干涉状态识别方法有效性，运用文中方法对黄陵二号矿综采工作面实际现场视频分别截取采煤机滚筒与护帮板正常状态和干涉状态各100张图片进行试验测试，识别结果见表4。试验结果表明：文中方法对采煤机滚筒与液压支架护帮板干涉状态识别准确率为96%，得到部分识别结果如图16所示。对试验过程及结果进行分析，发现主要误识别原因：采煤机在截割过程中出现煤尘较大的工况时，采用改进YOLOv5s的液压支架护帮板干涉状态智能识别方法会出现采煤机滚筒被漏检的情况，影响干涉状态识别结果。
表 4 采煤机滚筒与护帮板干涉状态识别结果Table 4. Shearer drum and guard plate interference state identification results状态 数量/张 识别正确数 识别错误数 准确率/% 正常 100 100 0 100 警告 100 96 4 96 ![]()
图 16 采煤机滚筒与护帮板干涉状态识别结果Figure 16. Shearer drum and guard plate interference state identification results从图16中可以得出，当采煤机向前割煤时，文中方法能够将采煤机前进方向上未收回护帮板与滚筒识别并进行框选，根据识别的滚筒与最邻近液压支架护帮板之间的锚框重合程度，可以直观显示当前的识别结果。图16a为正常状态，即护帮板不会与滚筒发生碰撞，显示绿色的“正常”，识别正确；图16b为正常状态，该情况由视角问题导致锚框重叠，显示绿色的“正常”，识别正确；图16c为报警状态，即护帮板与滚筒发生碰撞，显示红色的“警告！”，识别正确。
4. 结 论
1）运用课题组前期提出的基于边界约束和非线性上下文正则化的去雾去尘方法对视频图像进行清晰化处理，提高了综采工作面监控视频图像质量；提出的改进YOLOv5s模型在主干特征提取网络中采用轻量化Ghost卷积，平均检测速度提高了3.3%，加入CA注意力机制，增强了模型提取护帮板关键特征的能力和抗干扰能力，识别精确率相比于YOLOv5s提升了3.2%。运用的Soft-NMS锚框筛选方法解决了NMS锚框筛选方法存在因护帮板重叠而发生漏检的问题。
2）通过对文中方法与YOLOv5s、YOLOv3-tiny方法进行对比分析，结果表明：本文方法的识别时间和精度均更优，平均识别准确率为97.2%，平均识别速度为169帧/s，能够满足实际工况需求。
3）运用该方法对黄陵二号煤矿综采工作面现场视频中液压支架护帮板与采煤机滚筒进行了识别试验验证，结果表明：文中方法能够将采煤机前进方向上未收回护帮板与滚筒准确识别，且根据识别结果计算识别的滚筒与最邻近液压支架护帮板之间的锚框重合度实现了护帮板与滚筒的干涉状态准确识别，识别准确率为96%。
-
![]()
图 3 综采工作面雾尘图像清晰化处理
Figure 3. Clear processing of fog and dust image in fully mechanized mining face
![]()
图 6 基于改进YOLOv5s的干涉状态识别方法
Figure 6. An improved interference state recognition method based on YOLOv5s
![]()
图 13 NMS与soft-NMS的护帮板识别结果对比
Figure 13. Comparison of recognition results between NMS and soft-NMS for guard plates
![]()
图 12 改进YOLOv5s网络的护帮板识别结果
Figure 12. Identification results of guard plate based on improved YOLOv5s network
![]()
图 14 3种深度学习方法识别结果对比
Figure 14. Comparison of recognition results of three deep learning methods
![]()
图 15 不同环境下YOLOv5s和改进YOLOv5s的识别结果
Figure 15. Test results of YOLOv5s and A-YOLOv5s in different test environments
![]()
图 16 采煤机滚筒与护帮板干涉状态识别结果
Figure 16. Shearer drum and guard plate interference state identification results
配置名称 参数 操作系统 Windows 10 GPU NVIDIA GeForce RTX 3080 CPU Intel(R) Core(TM)i7-12700K 深度学习框架 Pytorch 
下载: 导出CSV
表 1 YOLOv5s改进前后护帮板识别结果
Table 1 Guard plate identification results of YOLOv5s improved before and after
去雾 CA GhostConv 精确率 召回率/% mAP@.5% 平均检测时间/ms GFLOPs — — — 0.862 0.782 0.854 6.1 15.8 — √ — 0.894 0.906 0.951 6.4 16.2 — — √ 0.887 0.918 0.940 5.8 8.3 — √ √ 0.922 0.938 0.961 5.9 8.5 √ √ √ 0.943 0.93 0.972 5.9 8.5
下载: 导出CSV
表 2 YOLOv5s、YOLOv3-tiny方法与本文方法识别结果对比
Table 2 Comparison of recognition results of YOLOv5s, YOLOv3-tiny and proposed method
算法 mAP@.5 平均检测时间/ms YOLOv5s 0.854 6.1 YOLOv3-tiny 0.843 6.0 本文方法 0.972 5.9
下载: 导出CSV
表 3 YOLOv5s与改进YOLOv5s不同环境下识别结果对比
Table 3 Comparison of recognition results of YOLOv5s and improved YOLOv5s in different environments
算法 识别环境 有雾尘 有遮挡 光照不均匀 环境良好 YOLOv5s 护帮板漏检 未检测出采煤机滚筒 漏检护帮板 误识别最右边已
收回护帮板改进YOLOv5s 准确识别所有护帮板，
没有出现漏检和误检当有物体遮挡采煤机滚筒时，引入CA的改进YOLOv5s模型
更精确地定位和识别采煤机滚筒被精确识别出来正确识别所有
护帮板正确识别所有护帮板
下载: 导出CSV
表 4 采煤机滚筒与护帮板干涉状态识别结果
Table 4 Shearer drum and guard plate interference state identification results
状态 数量/张 识别正确数 识别错误数 准确率/% 正常 100 100 0 100 警告 100 96 4 96
下载: 导出CSV
-
[1] 钱鸣高,许家林,王家臣. 再论煤炭的科学开采[J]. 煤炭学报,2018,43 (1):1−13. QIAN Minggao,XU Jialin,WANG Jiachen. Further on the sustainable mining of coal[J]. Journal of China Coal Society,2018,43(1):1−13.
[2] 宋秋爽,袁 智,宋振铎,等. 综采成套装备试验平台关键技术研究[J]. 煤炭科学技术,2017,45(8):194−199. SONG Qiushuang,YUAN Zhi,SONG Zhenduo,et al. Study on test platform key technology of complete fully-mechanized mining equipment[J]. Coal Science and Technology,2017,45(8):194−199.
[3] 任怀伟,王国法,赵国瑞,等. 智慧煤矿信息逻辑模型及开采系统决策控制方法[J]. 煤炭学报,2019,44(9):2923−2935. REN Huaiwei,WANG Guofa,ZHAO guorui,et al. Smart coal mine logic model and decision control method of mining system[J]. Journal of China Coal Society,2019,44(9):2923−2935.
[4] 任怀伟,赵国瑞,周 杰,等. 智能开采装备全位姿测量及虚拟仿真控制技术[J]. 煤炭学报,2020,45(3):956−971. REN Huaiwei,ZHAO Guorui,ZHOU Jie,et al. Key technologies of all position and monitoring and virtual simulation and control for smart mining equip-ment[J]. Journal of China Coal Society,2020,45(3):956−971.
[5] 王国法,赵国瑞,任怀伟. 智慧煤矿与智能化开采关键核心技术分析[J]. 煤炭学报,2019,44(1):34−41. WANG Guofa,ZHAO Guorui,REN Huaiwei. Analysis on key technologies of intelligent coal mine and intelligent mining[J]. Journal of China Coal Society,2019,44(1):34−41
[6] 王妙云,张旭辉,马宏伟,等. 远程控制综采设备碰撞检测与预警方法[J]. 煤炭科学技术,2021,49(9):110−116. WANG Miaoyun,ZHANG Xuhui,MA Hongwei,et al. Collision detection and pre-warning method for remotely controlled fully-mechanized mining equipment[J]. Coal Science and Technology,2021,49(9):110−116. doi: 10.13199/j.cnki.cst.2021.09.016.
[7] 王 渊,李红卫,郭 卫,等. 基于图像识别的液压支架护帮板收回状态监测方法[J]. 工矿自动化,2019,45(2):47−53. WANG Yuan,LI Hongwei,GUO wei,et al. Monitoring method of recovery state of hydraulic support guard plate based on image recognition[J]. Industry and Mine Automation,2019,45(2):47−53.
[8] 满溢桥. 液压支架护帮板与采煤机滚筒截割干涉监测技术研究[D]. 北京:中国矿业大学(北京),2019. MAN Yiqiao. Research on the monitoring technology of cutting interference between hydraulic support face guard and shearer drum[D]. Beijing :China University of Mining and Technology-Beijing,2019.
[9] LI J,LIANG X,SHEN S M,et al. Scale-aware Fast R-CNN for Pedestrian Detection[J]. IEEE Transactions on Multimedia,2015,20(4).
[10] WU Y, LIM J, YANG MH. Object tracking benchmark[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 37（9）: 1834−1848. WU Y,LIM J,YANG MH. Object tracking benchmark[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2015,37(9):1834−1848.
[11] LECUN Y,BOSER B,DENKER J S,et al. Backpropagation Applied to Handwritten Zip Code Recognition[J]. Neural Computation,2014,1(4):541−551.
[12] REDMON J,DIVVALA S,GIRSHICK R et al. You only look once:unified,real-time object detection[C]//IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Las Vegas:IEEE,2016:779–788.
[13] REN Shaoqing,HE Kaiming,GIRSHICK R,et al. Faster R-CNN:towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2017,39(6):1137−1149.
[14] 唐士宇,朱艾春,张 赛,等. 基于深度卷积神经网络的井下人员目标检测[J]. 工矿自动化,2018,44(11):32−36. TANG Shiyu,ZHU Aichun,ZHANG Sai,et al. Target detection of underground personnel based on deep convolutional neural network[J]. Industry and Mine Automation,2018,44(11):32−36.
[15] 杜京义,陈 瑞,郝 乐,等. 煤矿带式输送机异物检测[J]. 工矿自动 化,2021,47(8):77−83. DU Jingyi,CHEN Rui,HAO Le,et al. Coal mine belt conveyor for foreign object detection[J]. Industry and Mine Automation,2021,47(8):77−83.
[16] 唐 聪,凌永顺,郑科栋,等. 基于深度学习的多视窗SSD目标检测方法[J]. 红外与激光工程,2018,47(1):302−310. TANG Cong,LIN Yongshun,ZHENG Kedong,et al. Object detection method of multi-view SSD based on deep le-arning[J]. Infrared and Laser Engineering,2018,47(1):302−310.
[17] LIU W,ANGUELOV D,ERHAN D, et al. Ssd:Single shot multibox detector[C]//European conference on computer vision. Springer,Cham,2016:21−37.
[18] 魏 强,白尚旺,龚大立,等. 融合图像去雾与Tiny-YOLOv3的护帮板状态检测研究[J]. 太原科技大学学报,2022,43(1):15−22,28. WEI Qiang,BAI Shangwang,GONG Dali et al. Research on defogging of fusion image and Tiny-YOLOv3 state detection of guard plate [J]. Journal of Taiyuan University of Science and Technology,2022,43(1):15−22,28.
[19] 张旭辉,闫建星,麻 兵,等. 基于改进YOLOv5s的护帮板异常检测方法研究[J]. 工程设计学报,2022,29(6):665−675. ZHANG Xuhui,YAN Jianxing,MA Bing,et al. Research on Abnormal Detection Method of Shield Plate based on Improved YOLOv5s[J]. Chinese Journal of Engineering Design,2022,29(6):665−675.
[20] MAO Q,WANG Y,ZHANG X,et al. Clarity method of fog and dust image in fully mechanized mining face[J]. Machine Vision and Applications,2022,33(2):1−16.
[21] HAN K,WANG Y,TIAN Q, et al. Ghostnet:More features from cheap operations[C]//Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 2020:1580−1589.
[22] HOU Q B,ZHOU D Q,FENG J S. Coordinate attention for efficient mobile network design [C]//Proceedings of 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Nashville:IEEE,2021: 13708–13717.
计量
- 文章访问数: 139
- HTML全文浏览量: 34
- PDF下载量: 60
