Mechanical properties and damage characteristics of coal-rock combined samples under water-rock interaction
-
摘要:
水岩相互作用是地下采矿工程活动中的常见问题。为研究水岩作用下煤岩组合体的力学特性、损伤特征及劣化机制,对不同浸水时间下的细砂岩−煤(FM)、粗砂岩−煤(GM)、细砂岩−煤−粗砂岩(FMG)3种组合体开展了轴向压缩试验。结果表明:①组合体含水率随浸水时间增加而增大,浸水20 d以后达到饱水状态;5~15 d为组合体的吸水区,15~20 d为组合体近饱和区,20~25 d为组合体的饱和区。②水岩作用下3种组合体的抗压强度、弹性模量、峰前能量、冲击能量指数等参数具有明显的劣化效应,其参数值均随浸水时间增加而减小;浸水5~15 d阶段为峰前能量陡降区,浸水15~25 d阶段为峰前能量缓降区;浸水时间5~15 d,组合体冲击能量指数劣化明显,15 d之后,劣化效应较弱;浸水5~10 d组合体为弱冲击倾向性,浸水15~25 d组合体无冲击倾向性。③随着浸水时间增加,组合体的声发射累积数显著下降。利用损伤理论构建了基于浸水时间的组合体损伤模型,该模型揭示了损伤变量与浸水时间的关系,反映了随着浸水时间增加,组合体的损伤程度增大的规律。④推导了类孔隙比计算公式,组合体的类孔隙比为:FM组合体<FMG组合体<GM组合体;分析了组合体类孔隙比与抗压强度的关系,组合体类孔隙比越大,其抗压强度越小;⑤针对水岩作用下煤岩组合体的劣化效应,从物理、化学、力学3方面,分析了水岩作用下煤岩组合体的劣化机理。⑥对鹤岗矿区某煤矿采矿区积水影响下的煤岩柱破坏特征和变形规律进行分析,水岩作用下煤岩体强度和稳定性具有明显的劣化效应,并且这种劣化效应在浸水初期更为明显,随着浸水时间增加,劣化效应逐渐减弱,这与试验结论相一致。
Abstract:Water-rock interaction is common seen in underground mining engineering activities. In order to study the mechanical properties, damage characteristics and deterioration mechanism of coal-rock combined samples under water-rock interaction, axial compression tests were carried out on FM, GM and FMG combined samples under different immersion time. The main results are as follows: ①Water content of the sample increases with the increase of immersion time, and reaches saturated after 20, 5−15 is the water absorption period of the sample, 15−20 is the near-saturation period, and 20−25 is the saturation period.②The compressive strength, elastic modulus, pre-peak energy and burst energy index of the three types of samples have obvious degradation effect under the interaction of water and rock, and the parameter values decrease with the increase of immersion time. The steep drop region of pre-peak energy is observed in the 5−15 d of immersion, and the slow drop region of pre-peak energy is observed in the 15−25 d of immersion. Immersion time 5−15 d, the burst energy index deterioration is obvious, after 15 d, the deterioration effect is weak; Sample of immersion of 5−10 d is of weak burst proneness, Sample of immersion of 15−25 d is of no burst proneness.③With the increase of immersion time, the cumulative number of acoustic emission of the sample decreases significantly. Based on the damage theory, the damage model of the sample with respect to immersion time was constructed. The model reveals the relationship between the damage variable and the immersion time, and reflects the behavior that damage degree of the sample increases with the increase of the immersion time. ④The calculation formula of fake-void ratio is derived, and the fake-void ratio of the combined body is as follows: FM combined body < FMG combined body < GM combined body. The relationship between the fake-void ratio of composite and compressive strength was analyzed. the larger the fake-void ratio, the smaller the compressive strength. ⑤With respect to the deterioration effect, the deterioration mechanism of coal-rock combination under water-rock interaction was analyzed from physical, chemical and mechanical aspects.⑥The failure characteristics and deformation of coal-rock pillar under the influence of water in a coal mining area of Hegang mining area were analyzed. The strength and stability of coal-rock mass under the water-rock interaction have obvious deterioration effect, and this deterioration effect is more obvious at the early immersion stage. With the increase of immersion time, the deterioration effect is gradually weakened. This is consistent with the conclusions of the tests.
-
0. 引 言
2020年,国家八部委联合颁发了《关于加快煤矿智能化发展的指导意见》,指出煤矿智能化是煤炭工业高质量发展的核心技术支撑,研究工作面智能化开采技术是实现煤矿智能化的关键。液压支架作为综采成套装备的重要组成部分,是实现煤矿井下安全生产的关键设备之一[1-2]。在综采工作面协同采煤过程中,采煤机、液压支架和刮板输送机自动协同工作是自动开采技术的核心。在采煤机割煤时,若在采煤机到达前液压支架护帮板没有收回时,将会出现护帮板与采煤机滚筒干涉[3-4],导致截齿损坏甚至人员伤亡事故。因此,研究液压支架护帮板异常状态智能识别方法,对煤矿安全、高效、智能开采具有重要意义。
目前,在智能开采背景下,采煤机滚筒与液压支架护帮板干涉识别成为研究热点[5]。王妙云等[6]针对煤矿综采工作面设备间碰撞检测手段匮乏、预警困难等问题,运用虚拟现实技术、包围盒碰撞检测技术,仿真实现了采煤机滚筒与液压支架护帮板之间的碰撞检测功能。王渊等[7]利用雾尘图像清晰化算法与机器视觉测量方法对液压支架护帮板的收回状态进行非接触监测。满溢桥[8]建立了基于图像特征的护帮板位姿解算模型,设计了护帮板图像位姿特征提取算法对护帮板与滚筒截割干涉进行识别。综上所述,目前主要采用机器视觉检测液压支架护帮板的姿态来识别采煤机滚筒与护帮板干涉状态,但在煤矿综采工作面实际工况中存在设备遮挡、雾尘干扰等导致护帮板与采煤机滚筒边缘难以准确提取,因此直接通过视频图像识别护帮板位姿难以实现采煤机滚筒与护帮板干涉准确识别。
机器视觉技术广泛应用于模式识别中,但传统的图像识别方法通过提取图像特征进行分类识别,在实际工况中存在特征自适应提取难导致识别准确率不高的问题。深度学习可以直接对原始图像进行自适应特征提取,能够有效解决人为选取图像特征导致识别准确率不高的难题[9-10]。深度学习的目标检测算法有多种,而 Faster R-CNN、YOLO和SSD是应用最为广泛的3种[11-14],其中Faster R-CNN准确率比较高,但是识别速度不高;SSD识别速度快,但是识别准确率不高;YOLO系列算法识别准确率和速度都较高[15-17]。因此,YOLO系列算法在煤矿井下应用比较广泛。魏强等[18]为了低性能设备上能满足实时检测,提出了一种融合图像去雾与Tiny-YOLOv3的目标检测方法,该方法能实时检测护帮板状态。张旭辉等[19]提出了一种基于改进YOLOv5s的护帮板识别方法,该方法能实时检测护帮板状态。但是,以上研究重点研究护帮板识别,而缺乏护帮板与采煤机滚筒干涉识别研究。
为此,提出一种改进YOLOv5s的采煤机滚筒与护帮板干涉状态智能识别方法。针对综采工作面环境恶劣,采集的视频图像受采煤时产生的尘雾干扰影响识别问题,运用前期课题组提出的去雾去尘方法[20]对采煤机滚筒与液压支架护帮板图像进行清晰化处理,为后续采煤机滚筒与液压支架护帮板干涉状态识别提供高质量的原始图像; 针对标准YOLOv5s参数量、运算量较大问题,使用Ghost卷积减少模型参数,提高模型识别速度;针对综采工作面干扰物体和特征较多问题,引入CA注意力机制,提高模型对护帮板和滚筒特征提取能力,从而提高模型识别精确率;针对因护帮板重叠而发生漏检问题,运用Soft-NMS锚框筛选方法替换原有模型中NMS锚框筛选方法;最终根据护帮板与滚筒的检测锚框重叠程度判定二者干涉状态。从而实现液压支架护帮板与采煤机滚筒干涉状态的智能精确识识别,对煤矿安全、高效、智能开采具有重要意义。
1. 干涉状态识别系统总体设计
1.1 摄像头布置
首先布置视频传感器,每间隔3~4台液压支架布置一个防爆云台摄像机,负责对应区域护帮板的图像采集,如图1所示。
1.2 滚筒与护帮板干涉状态
根据煤矿综采工作面液压支架护帮板的支护要求,护帮板须与采煤机协同运行。干涉状态护帮板图像如图2所示,当采煤机滚筒抵达时,红框中的两个护帮板未及时收回,即认为此处护帮板与滚筒发生干涉。每台矿用本安防爆摄像仪分别负责拍摄3到5个液压支架护帮板图像,当采煤机滚筒行进到对应位置矿用本安防爆摄像仪的视野内时,开始对该台摄像仪拍摄到的所有护帮板和滚筒进行识别。根据采煤工艺需求,在采煤机前进方向上,距离滚筒最近的护帮板应当及时收回,若未收回则认为这些护帮板将与滚筒发生干涉,这些护帮板将会被识别和发出报警信号。
1.3 数据集构建
试验所用的采煤机滚筒与护帮板数据集来源于黄陵2号矿,录制了30 d的该煤矿生产中与未生产时根据需求安装的58台防爆云台摄像头煤矿监控视频,并通过云台控制旋转摄像头拍摄煤壁上各个角度的液压支架护帮板各种状态图像。避免综采工作面推进中导致摄像头拍摄角度变化,增加识别模型的鲁棒性。采用opencv-python调取护帮板和采煤机工作视频,视频流每隔25帧保存1张图片,共得到15 000张煤矿井下真实图像。采煤机截割头标注为shearer,护帮板标注为warning。煤矿综采工作面存在大量粉尘和设备产生的水雾,导致采集到的图片质量差、煤矿井下目标模糊、细节丢失、能见度低、难以识别,无法为异常识别提供高质量图像。因此,首先运用我们前期提出的基于边界约束和非线性上下文正则化的去雾去尘方法对视频图像进行清晰化处理,处理结果如图3所示,实现了良好的去雾去尘处理。
采用LabelImg软件在图像上以最小外接矩形框标注训练数据集的采煤机滚筒与液压支架护帮板。如图4所示,制作成采煤机滚筒与护帮板数据集,然后以8∶1∶1的比例形成为训练集、验证集和测试集。
1.4 干涉状态检测系统
采煤机滚筒与液压支架护帮板的干涉状态检测系统如图5所示。首先,在AI训练平台上训练基于改进YOLOv5s的目标检测模型,将异常状态检测模型部署到集控中心;其次,在进行采煤作业时,当采煤机滚筒进入对应位置的视频传感器视角内时,集控中心的推理服务器通过获取摄像头的视频流地址,采用OpenCV直接解码摄像头实时监控画面并识别,然后通过识别结果判断采煤机接近时护帮板是否未收回;最后,若检测结果为异常,监控系统进行异常报警和控制采煤机停机,防止与采煤机滚筒发生碰撞,同时保存识别结果。
2. 干涉状态识别方法
2.1 改进YOLOv5s的干涉状态识别方法
在综采工作面协同采煤过程中,若在采煤机抵达前液压支架护帮板没有收回时,将会出现运动干涉情况,因此需要实时监测并处理。
基于改进YOLOv5s的采煤机滚筒与液压支架护帮板干涉状态识别方法如图6所示。首先,输入未收回的护帮板和采煤机滚筒图像样本对模型进行训练,得到识别模型。然后在进行采煤作业时,当采煤机滚筒进入对应位置的视觉传感器视角内时,开始对该区域的视频监控图像进行去雾处理,接着将去雾图像输入到改进YOLOv5s模型完成护帮板与采煤机滚筒识别,得到的护帮板和滚筒锚框,然后通过计算两者锚框重合度Z,即可完成采煤机滚筒与液压支架护帮板的干涉识别。根据工况需求和大量实际视频分析,设定当重合度Z大于50%时报警,避免由于视角问题可能导致滚筒和护帮板目标框相交导致的误判现象。
1)当重合度小于50%时,即采煤机滚筒到达时护帮板为收回状态,监控视频显示绿色的“正常”。
2)当重合度大于50%时,则认为护帮板与采煤机滚筒距离过近,判定为已经发生干涉,则在监控视频对其识别框标红并显示红色的“警告”,表示为异常工作状态,提醒集控中心人员进行处理和控制采煤机停机,防止与采煤机滚筒发生碰撞。
2.2 锚框重合度Z计算
给定两个矩形A和B,矩形A的左上角坐标为($ X_{\mathrm{a}1} $,$ Y_{\mathrm{a}1} $),右下角坐标为($ X_{\mathrm{a}2} $,$ Y_{\mathrm{a}2} $),矩形B的左上角坐标为($ X_{\mathrm{b}1} $, $ Y_{\mathrm{b}1} $),右下角坐标为($ X_{\mathrm{b}2} $, $ Y_{\mathrm{b}2} $)如图7所示。
判断2个矩形的中心坐标的水平和垂直距离,只要这2个值满足一下条件就可以相交。
矩形A的宽:$ W_{\mathrm{a}}=X_{\mathrm{a}2}-X_{\mathrm{a}1} $,
高:$ H\mathrm{_a}=Y_{\mathrm{a}2}-Y_{\mathrm{a}1} $
矩形B的宽:$ W_{\mathrm{b}}=X_{\mathrm{b}2}-X_{\mathrm{b}1} $,
高:$ H_{\mathrm{b}}=Y_{\mathrm{b}2}-Y_{\mathrm{b}1} $
矩形A的中心坐标:
$$ {(X}_{{\mathrm{a}}3}{,Y}_{{\mathrm{b}}3})=\left(\frac{\left({X}_{{\mathrm{a}}2}+{X}_{{\mathrm{a}}1}\right)}{2},\frac{\left({Y}_{{\mathrm{a}}2}{+Y}_{{\mathrm{a}}1}\right)}{2}\right) $$ (1) 矩形B的中心坐标:
$$ {(X}_{{\mathrm{b}}3}{,Y}_{{\mathrm{b}}3})=\left(\frac{\left({X}_{{\mathrm{b}}2}+{X}_{{\mathrm{b}}1}\right)}{2},\frac{\left({Y}_{{\mathrm{b}}2}{+Y}_{{\mathrm{b}}1}\right)}{2}\right) $$ (2) 所以只要同时满足下面2个式子,就可以说明2个矩形相交。
$$ | {X}_{{\mathrm{b}}3}-{X}_{{\mathrm{a}}3} | \leqslant \frac{{W}_{{\mathrm{a}}}+{W}_{{\mathrm{b}}}}{2} $$ (3) $$ | {Y}_{{\mathrm{b}}3}-{Y}_{{\mathrm{a}}3} | \leqslant \frac{{H}_{{\mathrm{a}}}+{H}_{{\mathrm{b}}}}{2} $$ (4) 即:
$$ \left|{X}_{{\mathrm{b}}2}+{X}_{{\mathrm{b}}1}-{X}_{{\mathrm{a}}2}-{X}_{{\mathrm{a}}1}\right|\leqslant {X}_{{\mathrm{a}}2}{-X}_{{\mathrm{a}}1}+{X}_{{\mathrm{b}}2}{-X}_{{\mathrm{b}}1} $$ (5) $$ \left|{Y}_{{\mathrm{b}}2}+{Y}_{{\mathrm{b}}1}-{Y}_{{\mathrm{a}}2}-{Y}_{{\mathrm{a}}1}\right|\leqslant {Y}_{{\mathrm{a}}2}{-Y}_{{\mathrm{a}}1}+{Y}_{{\mathrm{b}}2}{-Y}_{{\mathrm{b}}1} $$ (6) 假设2个矩形相交,设相交之后的矩形为C,且矩形C的左上角坐标为($ X_{\mathrm{c}1} $, $ {Y}_{{\mathrm{c}}1} $),右下角坐标为($ X_{\mathrm{c}2} $, $ Y_{\mathrm{c}2} $),根据图6可以得到:
$$ {X}_{{\mathrm{c}}1}=\max{(X}_{{\mathrm{a}}1},{X}_{{\mathrm{b}}1}) $$ (7) $$ {Y}_{{\mathrm{c}}1}=\max{(Y}_{{\mathrm{b}}2},{Y}_{{\mathrm{b}}1}) $$ (8) $$ {X}_{{\mathrm{c}}2}=\min{(X}_{{\mathrm{a}}2},{X}_{{\mathrm{b}}1}) $$ (9) $$ {Y}_{{\mathrm{c}}2}=\min{(Y}_{{\mathrm{a}}2},{Y}_{{\mathrm{b}}1}) $$ (10) 矩形A的面积:
$$ {S}_{{{a}}}{=(X}_{{\mathrm{a2}}}{-X}_{{\mathrm{a1}}}\left)\right({Y}_{{\mathrm{a2}}}{-Y}_{{\mathrm{a1}}}) $$ (11) 矩形B的面积:
$$ {S}_{{{b}}}{=(X}_{{\mathrm{b2}}}{-X}_{{\mathrm{b1}}}\left)\right({Y}_{{\mathrm{b2}}}{-Y}_{{\mathrm{b1}}}) $$ (12) 矩形C的面积:
$$ {S}_{c}{=(X}_{{\mathrm{c2}}}{-X}_{{\mathrm{c1}}}\left){(Y}_{{\mathrm{c2}}}{-Y}_{{\mathrm{c1}}}\right) $$ (13) 这样就求出了矩形的重合度Z:
$$ {Z}=\frac{({X}_{{\mathrm{b2}}}-{X}_{{\mathrm{b2}}})({Y}_{{\mathrm{b2}}}-{Y}_{{\mathrm{b2}}})}{{S}_{{\mathrm{a}}}+{S}_{{\mathrm{b}}}-({X}_{{\mathrm{b2}}}-{X}_{{\mathrm{b2}}})({Y}_{{\mathrm{b2}}}-{Y}_{{\mathrm{b2}}})} $$ (14) 2.3 改进的YOLOv5网络结构
将YOLOv5主干网络中的普通卷积Conv替换为分类效果更佳的Ghost卷积,并在Backbone部分引入CA,改进的主干网络结构及识别过程如图8所示。
2.3.1 Ghost卷积提升识别效率
为了将多个模型并行部署到显存和内存较小的设备上,且实现对多个摄像头的实时识别的要求,通过GhostConv提高护帮板识别效率。
在YOLOv5深度学习网络中存在着大量冗余,如对模型的精度至关重要的特征图是由卷积操作得到,又输入到下一个卷积层进行运算,这个过程包含大量的网络参数,消耗了大量的计算资源。造成护帮板速度低,因此引入GhostConv代替Backbone主干特征提取网络中的普通卷积,可在提高模型检测速度的同时,仅损失较少的精度。
Ghost卷积[21]部分将传统卷积操作分为3部分:
1)如图9所示。首先将输入的特征图进行卷积,但是与常规卷积中输出的通道数为N不同,其首先得到红色框中的特征图,其输出的通道数为$ \dfrac{N}{2} $;
2)随后将红色框中的特征图的每个通道单独进行某种“线性变换”;
3)最后将以上2步操作所得到的特征图进行拼接来生成最终的特征图,得到与普通卷积相当的特征图,能够在不影响网络提取特征性能的同时减少参数量。
基于此,以Ghost模块为基础构建了Ghost卷积如图10所示。
2.3.2 引入CA提升识别准确率
由于煤矿井下环境复杂,井下目标尺度多样,影响YOLOv5s模型对图像中滚筒与护帮板特征信息的提取,造成识别准确率不高。引入了CA注意机制,帮助网络更准确地定位护帮板和滚筒,提高模型识别准确率。坐标注意力机制[22](Coordinate Attention,CA)它不仅捕获跨通道信息,而且捕获方向感知和位置敏感信息,这有助于模型更准确地定位和识别护帮板。CA利用两个一维全局池化操作分别沿着X横轴方向和Y竖轴方向使用了不同大小的池化核如式(15)及式(16)所示。
$$ {{{\textit{z}}}}_{{{\mathrm{c}}}}^{{h}}\left({h}\right)=\frac{1}{{W}}\sum _{0\leqslant {i}\leqslant {W}}{{x}}_{{{\mathrm{c}}}}\left({h},{i}\right) $$ (15) $$ {{\textit{z}}}_{{{\mathrm{c}}}}^{{w}}\left({w}\right)=\frac{1}{{H}}\sum _{0\leqslant {i}\leqslant {H}}{{x}}_{{{\mathrm{c}}}}\left({j},{w}\right) $$ (16) 上述2个变换分别沿着两个空间方向聚集特征,生成一对具有方向感知能力的特征图,其中包含了较为精确的位置信息。然后将以上输出进行拼接,再通过1×1卷积进行变换,然后传递给卷积变换函数$ {F}_{1} $,如式(17)所示,其中δ为非线性激活函数, 其中$ {{\textit{z}}}^{h} $,$ {{\textit{z}}}^{w} $表示沿空间维度的拼接操作。
$$ f=\delta \left({F}_{1}\left(\left[{{\textit{z}}}^{h}\text{,}{{\textit{z}}}^{w}\right]\right)\right) $$ (17) 再利用另外2个1×1的卷积变换$ {F}_{h} $和$ {F}_{w} $ 分别将$ {F}_{h} $和$ {F}_{w} $变为通道数$ X$相同的张量,其中σ为Sigmod激活函数。如式(18)和(19)所示。
$$ {g}^{h}=\sigma \left({F}_{h}\left({f}^{h}\right)\right) $$ (18) $$ {g}^{w}=\sigma \left({F}_{w}\left({f}^{w}\right)\right) $$ (19) $ {g}^{h} $和$ {g}^{w} $分别作为注意力机制权重,最后CA注意力机制的输出如下:
$$ {y}_{c\left(i\text{,}j\right)}={x}_{c}\left(i\text{,}j\right)\times {g}_{c}^{h}\left(i\right)\times {g}_{c}^{w}\left(i\right) $$ (20) 将CA注意力机制添加至CSP模块中以及SPPF模块前,增强模型的特征提取能力,从而提高模型识别精确率。
2.3.3 Soft-NMS 锚框筛选方法降低漏检率
原始YOLOv5s中采用非极大值抑制算法(NMS)进行锚框筛选。但是,当一个物体B的边界框与置信度最高的边界框A相交,并且两边框的处于预设的重叠阈值之内,则会将物体B的边界框强制删除,这样可能会导致检测不到物体B,从而造成漏检,即液压支架护帮板存在重叠时会导致漏检。
因此文中在 YOLOv5s中引入 Soft-NMS 算法来代替原始的NMS算法,Soft-NMS 算法会对物体B的检测框的检测分数进行衰减而非彻底移除。根据高斯分布重置函数来解决漏检,对传统的 NMS 分数重置函数做改进如下:
$$ {{S}}_{{i}}={{s}}_{{i}}\frac{{{{\mathrm{e}}}}^{-{i}{o}{u}}({A},{{B}}_{{i}}{)}^{2}}{{\sigma }}\text{,}\forall {{b}}_{{i}}\notin {D} $$ (21) 其中,D为所有保留的有效框集合;$ {B}_{i} $为待过滤的第i个预测框;$ {s}_{i} $为第i个预测框对应的分类score;$ iou $为交互比。当两个框重合度越高时,$ {S}_{i} $的取值会越小,即降低相应框的得分,避免了因强制删除相应框而造成漏检的情况,从而提高目标检测精度。
2.4 评价指标
采用平均精度AP(Average Precision,AP) ,AP平均值(Mean Average Precision,mAP)作为目标检测的评价指标来评估训练出的模型。
$$ P=\frac{TP}{TP+FP} $$ (22) $$ R=\frac{TP}{TP+FN} $$ (23) $$ AP = \int_0^1 {P R {\text{d}}R} $$ (24) 其中,P为精确率;R为召回率;TP为预测值与真实值均为正;FP为预测值为负、真实值为正;FN为预测值为正、真实值为负。
3. 试验结果及分析
3.1 试验设备
试验中所使用设备参数如下:
配置名称 参数 操作系统 Windows 10 GPU NVIDIA GeForce RTX 3080 CPU Intel(R) Core(TM)i7-12700K 深度学习框架 Pytorch 3.2 消融试验结果
通过消融试验验证图像去雾、CA和GhostConv对整体模型的影响,试验采用相同的液压支架护帮板数据集和软硬件设备,所得护帮板识别精确率和耗时见表1。
表 1 YOLOv5s改进前后护帮板识别结果Table 1. Guard plate identification results of YOLOv5s improved before and after去雾 CA GhostConv 精确率 召回率/% mAP@.5% 平均检测时间/ms GFLOPs — — — 0.862 0.782 0.854 6.1 15.8 — √ — 0.894 0.906 0.951 6.4 16.2 — — √ 0.887 0.918 0.940 5.8 8.3 — √ √ 0.922 0.938 0.961 5.9 8.5 √ √ √ 0.943 0.93 0.972 5.9 8.5 从表2中可以看出,进行图像去雾处理后,识别精确率提高了2.7% ;在YOLOv5s模型中融入CA后(图11),增强了模型提取护帮板关键特征的能力和抗干扰能力,识别精确率相比于YOLOv5s提升了3.2%;当引入GhostConv后,识别精确率相比于YOLOv5s提高了2.5%,识别速度相比提高了5.1%;通过结合图像去雾、CA和GhostConv,改进YOLOv5s的识别精确率比YOLOv5s提升了8.1%,且识别速度提高了3.3%,GFLOPs降低1.86倍,说明改进后的网络在识别耗时减小的情况下有效提高了液压支架护帮板异常状态识别的准确率。运用本文改进YOLOv5s模型对护帮板识别结果如图12所示,结果表明本文改进YOLOv5s网络模型实现了护帮板准确识别。
表 2 YOLOv5s、YOLOv3-tiny方法与本文方法识别结果对比Table 2. Comparison of recognition results of YOLOv5s, YOLOv3-tiny and proposed method算法 mAP@.5 平均检测时间/ms YOLOv5s 0.854 6.1 YOLOv3-tiny 0.843 6.0 本文方法 0.972 5.9 3.3 Soft-NMS锚框筛选方法试验验证
为验证Soft-NMS锚框筛选方法,采用Soft-NMS锚框筛选方法和NMS锚框筛选方法对护帮板图像进行识别对比分析,结果如图13所示。
由于视频传感器布置角度的限制,图13中有2个护帮板发生重叠,并且重叠区域较大。在图13a中,没有将互相重叠部分的左边护帮板识别出来,而采用Soft-NMS代替NMS后,能够将左侧的护帮板正确识别,避免因护帮板重叠而发生漏检。
3.4 不同深度学习算法对比分析
针对检测目标,选择目前使用广泛的单阶段目标检测算法YOLOv5s、YOLOv3-tiny算法对护帮板状态图像进行识别对比分析,识别结果如图14所示,其中图14a是文中方法的识别结果,图14b是YOLOv5的识别结果,图14c是YOLOv3-tiny方法识别结果。
YOLOv5s、YOLOv3-tiny方法与文中方法的平均精度和检测时间对比见表2。
从图14中可以得出, YOLOv5s和YOLOv3-tiny方法出现了误检结果,图14b中将轨道、采煤机机体误识别为护帮板,图14c中同样将采煤机机体误识别为护帮板,并且从表2中可得出,YOLOv5s和YOLOv3-tiny两种方法对护帮板图像的识别精度较低,而文中方法识别平均精度均值最高,mAP@.5达到97.2%。文中方法对每幅图像的平均检测时间为5.9 ms,能够满足实际工况中的检测速度需求。因此,综合3种方法识别结果对比分析,结果表明提出的方法识别效果最好。
3.5 改进YOLOv5s对现场不同环境影响识别验证
运用文中方法在黄陵二号矿实际现场视频进行识别。在有雾尘、有遮挡、光照不均匀、环境良好等不同环境下采用YOLOv5s和改进YOLOv5s进行护帮板与滚筒识别,结果如图15所示。由表3可知,改进YOLOv5s方法在现场不同识别环境下对护帮板和滚筒的识别精确度都较高,具有较好的识别能力。为后续干涉状态判断奠定良好基础。
表 3 YOLOv5s与改进YOLOv5s不同环境下识别结果对比Table 3. Comparison of recognition results of YOLOv5s and improved YOLOv5s in different environments算法 识别环境 有雾尘 有遮挡 光照不均匀 环境良好 YOLOv5s 护帮板漏检 未检测出采煤机滚筒 漏检护帮板 误识别最右边已
收回护帮板改进YOLOv5s 准确识别所有护帮板,
没有出现漏检和误检当有物体遮挡采煤机滚筒时,引入CA的改进YOLOv5s模型
更精确地定位和识别采煤机滚筒被精确识别出来正确识别所有
护帮板正确识别所有护帮板 3.6 滚筒与护帮板干涉状态识别验证
为验证采煤机滚筒与护帮板干涉状态识别方法有效性,运用文中方法对黄陵二号矿综采工作面实际现场视频分别截取采煤机滚筒与护帮板正常状态和干涉状态各100张图片进行试验测试,识别结果见表4。试验结果表明:文中方法对采煤机滚筒与液压支架护帮板干涉状态识别准确率为96%,得到部分识别结果如图16所示。对试验过程及结果进行分析,发现主要误识别原因:采煤机在截割过程中出现煤尘较大的工况时,采用改进YOLOv5s的液压支架护帮板干涉状态智能识别方法会出现采煤机滚筒被漏检的情况,影响干涉状态识别结果。
表 4 采煤机滚筒与护帮板干涉状态识别结果Table 4. Shearer drum and guard plate interference state identification results状态 数量/张 识别正确数 识别错误数 准确率/% 正常 100 100 0 100 警告 100 96 4 96 从图16中可以得出,当采煤机向前割煤时,文中方法能够将采煤机前进方向上未收回护帮板与滚筒识别并进行框选,根据识别的滚筒与最邻近液压支架护帮板之间的锚框重合程度,可以直观显示当前的识别结果。图16a为正常状态,即护帮板不会与滚筒发生碰撞,显示绿色的“正常”,识别正确;图16b为正常状态,该情况由视角问题导致锚框重叠,显示绿色的“正常”,识别正确;图16c为报警状态,即护帮板与滚筒发生碰撞,显示红色的“警告!”,识别正确。
4. 结 论
1)运用课题组前期提出的基于边界约束和非线性上下文正则化的去雾去尘方法对视频图像进行清晰化处理,提高了综采工作面监控视频图像质量;提出的改进YOLOv5s模型在主干特征提取网络中采用轻量化Ghost卷积,平均检测速度提高了3.3%,加入CA注意力机制,增强了模型提取护帮板关键特征的能力和抗干扰能力,识别精确率相比于YOLOv5s提升了3.2%。运用的Soft-NMS锚框筛选方法解决了NMS锚框筛选方法存在因护帮板重叠而发生漏检的问题。
2)通过对文中方法与YOLOv5s、YOLOv3-tiny方法进行对比分析,结果表明:本文方法的识别时间和精度均更优,平均识别准确率为97.2%,平均识别速度为169帧/s,能够满足实际工况需求。
3)运用该方法对黄陵二号煤矿综采工作面现场视频中液压支架护帮板与采煤机滚筒进行了识别试验验证,结果表明:文中方法能够将采煤机前进方向上未收回护帮板与滚筒准确识别,且根据识别结果计算识别的滚筒与最邻近液压支架护帮板之间的锚框重合度实现了护帮板与滚筒的干涉状态准确识别,识别准确率为96%。
-
表 1 不同浸水时间下煤岩组合体的试验数据
Table 1 Test data of water-immersed coal-rock combined bodies
组合体编号 浸水时间/d 含水率/% 抗压强度/MPa 弹性模量/MPa 峰前能量/(kJ•m−3) 峰后能量/(kJ•m−3) 冲击能量指数 FM-0 自然状态 0.63 10.78 1104 0.171 0.067 2.56 FM-1 5 0.32 14.36 1326 0.185 0.045 4.15 FM-2 10 0.45 12.89 1211 0.174 0.081 2.16 FM-3 15 0.61 11.05 1145 0.168 0.125 1.34 FM-4 20 0.66 10.23 1055 0.165 0.136 1.21 FM-5 25 0.69 9.87 1021 0.163 0.150 1.09 GM-0 自然状态 0.65 9.87 1102 0.178 0.113 1.58 GM-1 5 0.33 13.58 1289 0.198 0.049 4.05 GM-2 10 0.47 12.18 1197 0.182 0.091 2.01 GM-3 15 0.65 9.88 1125 0.173 0.154 1.12 GM-4 20 0.68 9.25 1011 0.169 0.161 1.05 GM-5 25 0.71 8.95 986 0.166 0.169 0.98 FMG-0 自然状态 0.64 10.62 997 0.173 0.135 1.28 FMG-1 5 0.32 13.89 1298 0.194 0.048 4.08 FMG-2 10 0.46 12.54 1125 0.180 0.085 2.11 FMG-3 15 0.63 10.65 1089 0.171 0.143 1.20 FMG-4 20 0.66 10.12 1008 0.167 0.149 1.12 FMG-5 25 0.70 9.21 976 0.164 0.152 1.08 -
[1] 姚强岭,刘亚鹏,陈 田,等. 地下水库人工坝体强度损伤演化特征试验研究[J]. 煤炭学报,2018,43(4):1111−1117. YAO Qiangling,LIU Yapeng,CHEN Tian,et al. Experimental study of damage evolution of artificial dam strength of under-ground reservoir[J]. Journal of China Coal Society,2018,43(4):1111−1117.
[2] 顾大钊,李 庭,李井峰,等. 我国煤矿矿井水处理技术现状与展望[J]. 煤炭科学技术,2021,49(1):11−18. GU Dazhao,LI Ting,LI Jingfeng,et al. Current status and prospects of coal mine water treatment technology in China[J]. Coal Science and Technology,2021,49(1):11−18.
[3] 陈光波,秦忠诚,张国华,等. 受载煤岩组合体破坏前能量分布规律[J]. 岩土力学,2020,41(6):2021−2033. CHEN Guangbo,QIN Zhongcheng,ZHANG Guohua,et al. Law of energy distribution before failure of loaded coal - rock combined body[J]. Rock and Soil Mechanics,2020,41(6):2021−2033.
[4] BURSHTEIN L S. Effect of moisture on the strength and deformability of sandstone[J]. Soviet Mining Science,1969,5(5):573−576. doi: 10.1007/BF02501278
[5] 朱珍德,邢福东,王思敬,等. 地下水对泥板岩强度软化的损伤力学分析[J]. 岩石力学与工程学报,2004,23(S2):4739−4743. ZHU Zhende,XING Fudong,WANG Sijing,et al. Analysis on strength softening of argillite under groundwater by damage mechanics[J]. Chinese Journal of Rock Mechanics and Engineering,2004,23(S2):4739−4743.
[6] 朱传奇,谢广祥,王 磊,等. 含水率及孔隙率对松软煤体强度特征影响的试验研究[J]. 采矿与安全工程学报,2017,34(3):601−607. ZHU Chuanqi,XIE Guangxiang,WANG Lei,et al. Experimental study on the influence of moisture content and porosity on soft coal strength characteristics[J]. Journal of Mining & Safety Engineering,2017,34(3):601−607.
[7] HEGGHEIM T,MADLAND M V,RISNES R,et al. A chemical induced enhanced weakening of chalk by seawater[J]. Journal of Petroleum Science & Engineering,2005,46(3):171−184.
[8] 蔡 毅,严家平,徐良骥,等. 不同含水状态采空区冒落岩体压缩变形特征研究[J]. 煤炭科学技术,2014,42(11):20−24. CAI Yi,YAN Jiaping,XU Liangji,et al. Study on compressive deformation characteristics of rock mass in goaf with different water-bearing state[J]. Coal Science and Technology,2014,42(11):20−24.
[9] 张书林,刘永茜,孟 涛. 不同矿化度水对煤的甲烷解吸影响的试验研究[J]. 煤炭科学技术,2021,49(7):110−117. ZHANG Shulin,LIU Yongqian,MENG Tao. Experimental study on theinfluence of water with different salinity on desorption performance of coal seam[J]. Coal Science and Technology,2021,49(7):110−117.
[10] 牛新团. 非饱和煤样浸水软化性的超声波试验研究[D]. 西安: 西安科技大学, 2010. NIU Xintuan. Ultrasonic test study on the softening of water immersion in unsaturated coal samples [D]. Xi’an: Xi’an University of Science and Technology, 2010.
[11] 王云刚,李满贵,陈兵兵,等. 干燥及饱和含水煤样超声波特征的实验研究[J]. 煤炭学报,2015,40(10):2445−2450. WANG Yungang,LI Mangui,CHEN Bingbing,et al. Experimental study on ultrasonic wave characteristics of coal samples under dry and water saturated conditions[J]. Journal of china coal society,2015,40(10):2445−2450.
[12] 黄彦森,邓建华,钟蜀晖,等. 含水率对泥质白云岩力学特性影响的试验研究[J]. 地下空间与工程学报,2014,10(2):276−284. HUANG Yansen,DENG Jianhua,ZHONG Shuhui,et al. Experimental study on mechanical property of argillaceous dolomite with different moisture content[J]. Chinese Journal of Underground Space and Engineering,2014,10(2):276−284.
[13] 陈 田,姚强岭,杜 茂,等. 浸水次数对煤样裂隙发育损伤的实验研究[J]. 岩石力学与工程学报,2016,35(S2):3756−3762. CHEN Tian,YAO Qiangling,DU Mao,et al. Experimental research of effect of water intrusion times on crack propagation in coal[J]. Chinese Journal of Rock Mechanics and Engineering,2016,35(S2):3756−3762.
[14] 邓华锋,张吟钗,李建林,等. 含水率对层状砂岩劈裂抗拉强度影响研究[J]. 岩石力学与工程学报,2017,36(11):2778−2787. DENG Huafeng,ZHANG Yinchai,LI Jianlin,et al. Effect of moisture content on splitting tensile strength of layered sandstone[J]. Chinese Journal of Rock Mechanics and Engineering,2017,36(11):2778−2787.
[15] 邵明申,李 黎,李最雄. 龙游石窟砂岩在不同含水状态下的弹性波速与力学性能[J]. 岩石力学与工程学报,2010,29(S2):3514−3518. SHAO Mingshen,LI Li,LI Zuixiong. Elastic wave velocity and mechanical properties of sandstone under different water contents at longyou grottoes[J]. Chinese Journal of Rock Mechanics and Engineering,2010,29(S2):3514−3518.
[16] 许 江,吴 慧,陆丽峰,等. 不同含水状态下砂岩剪切过程中声发射特性试验研究[J]. 岩石力学与工程学报,2012,31(5):914−920. doi: 10.3969/j.issn.1000-6915.2012.05.007 XU Jiang,WU Hui,LU Lifeng,et al. Experimental study of acoustic emission characteristics during shearing proess of sandstone under different water contents[J]. Chinese Journal of Rock Mechanics and Engineering,2012,31(5):914−920. doi: 10.3969/j.issn.1000-6915.2012.05.007
[17] 秦 虎,黄 滚,王维忠. 不同含水率煤岩受压变形破坏过程声发射特征试验研究[J]. 岩石力学与工程学报,2012,31(6):1115−1120. QIN Hu,HUANG Gun,WANG Weizhong. Experimental study of acoustic emission characteristics of coal samples with different moisture contents in process of compression deformation and failure[J]. Chinese Journal of Rock Mechanics and Engineering,2012,31(6):1115−1120.
[18] 童敏明,胡俊立,唐守峰,等. 不同应力速率下含水煤岩声发射信号特性[J]. 采矿与安全工程学报,2009,26(1):97−100. doi: 10.3969/j.issn.1673-3363.2009.01.019 TONG Minming,HU Junli,TANG Shoufeng,et al. Study of acoustic emission signal characteristic of water-containing coal and rock under different stress rates[J]. Journal of Mining & Safety Engineering,2009,26(1):97−100. doi: 10.3969/j.issn.1673-3363.2009.01.019
[19] 文圣勇,韩立军,宗义江,等. 不同含水率红砂岩单轴压缩试验声发射特征研究[J]. 煤炭科学技术,2013,41(8):46−52. WEN Shengyong,HAN Lijun,ZONG Yijiang,et al. Study on acoustic emission characteristics of sandstone uniaxial compression test with different moisture content[J]. Coal Science and Technology,2013,41(8):46−52.
[20] 夏 冬,杨天鸿,王培涛,等. 干燥及饱和岩石循环加卸载过程中声发射特征试验研究[J]. 煤炭学报,2014,39(7):1243−1247. XIA Dong,YANG Tianhong,WANG Peitao,et al. Experimental study of acoustic emission characteristics of dry and saturated rocks during cyclic loading and unloading proces[J]. Journal of China Coal Society,2014,39(7):1243−1247.
[21] 夏 冬,杨天鸿,王培涛,等. 循环加卸载下饱和岩石变形破坏的损伤与能量分析[J]. 东北大学学报(自然科学版),2014,35(6):867−870. XIA Dong,YANG Tianhong,WANG Peitao,et al. Analysis on damage and energy in deformation and fracture of saturated rock subjected to cyclic loading and unloading[J]. Journal of Northeastern University(Natural Science),2014,35(6):867−870.
[22] 张艳博,黄晓红,李莎莎,等. 含水砂岩在破坏过程中的频谱特性分析[J]. 岩土力学,2013,34(6):1574−1578. ZHANG Yanbo,HUANG Xiaohong,LI Shasha,et al. Spectral character analysis of sandstone under saturation condition in rupture procedure[J]. Rock and Soil Mechanics,2013,34(6):1574−1578.
[23] 齐庆新,史元伟,刘天泉. 冲击地压粘滑失稳机理的实验研究[J]. 煤炭学报,1997,22(2):34−38. QI Qingxin,SHI Yuanwei,LIU Tianquan. Mechanism of instability caused by viscous sliding in rock burst[J]. Journal of China Coal Society,1997,22(2):34−38.
[24] 齐庆新,彭永伟,李宏艳,等. 煤岩冲击倾向性研究[J]. 岩石力学与工程学报,2011,30(S1):2736−2742. QI Qingxin,PENG Yongwei,LI Hongyan,et al. Study of bursting liability of coal and rock[J]. Chinese Journal of Rock Mechanics and Engineering,2011,30(S1):2736−2742.
[25] 李纪青, 齐庆新, 毛德兵, 等. 应用煤岩组合模型方法评价煤岩冲击倾向性探讨[C]// 第九届全国岩石动力学学术会议论文集. 2005: 4805−4810. [26] 宋录生,赵善坤,刘 军,等. “顶板-煤层”结构体冲击倾向性演化规律及力学特性试验研究[J]. 煤炭学报,2014,39(S1):23−30. SONG Lusheng,ZHAO Shankun,LIU Jun,et al. Experimental research on rules of rock burst tendency evolution and mechanical properties of “roof-coal”structure body[J]. Journal of China Coal Society,2014,39(S1):23−30.
[27] 李晓璐,康立军,李宏艳,等. 煤-岩组合体冲击倾向性三维数值试验分析[J]. 煤炭学报,2011,36(12):2064−2067. LI Xiaolu,KANG Lijun,LI Hongyan,et al. Three-dimensional numerical simulation of bust-prone experiments about coal-rock combination[J]. Journal of China Coal Society,2011,36(12):2064−2067.
[28] 左建平,陈 岩,宋洪强,等. 煤岩组合体峰前轴向裂纹演化与非线性模型[J]. 岩土工程学报,2017,39(9):1609−1615. doi: 10.11779/CJGE201709008 ZUO Jianping,CHEN Yan,SONG Hongqiang,et al. Evolution of pre-peak axial crack strain and nonlinear model for coal-rock combined body[J]. Chinese Journal of Geotechnical Engineering,2017,39(9):1609−1615. doi: 10.11779/CJGE201709008
[29] TANG C A,XU X H. Evolution and propagation defect and Kaiser effect function[J]. Journal of Seismological Research,1990,13(2):203−213.
-
期刊类型引用(1)
1. 胡海洋,阳富芹,陈捷,娄毅,万玉亭. 贵州省盘关向斜煤层气储层地质特征及开发效果评价. 石油实验地质. 2025(01): 213-222 . 百度学术
其他类型引用(0)