Study on three-dimensional mesoscopic evolution characteristics and disturbance factors of coal open fractures
-
摘要:
裂隙演化方式受控于诸如矿物特征及围压条件等内外环境，为探究含裂隙煤体裂隙宏细观演化特征及影响因素的围压效应，基于工业CT扫描系统及其搭载的三轴加载系统对含裂隙煤体开展三轴静载试验，以多角度联合表征，对原生裂隙、矿物及围压的内外条件相互作用机制做出合理解释。结果表明：①围压会改变煤体初始损伤显著区位置，使其随围压升高由裂隙尖端过渡至煤体上、下端，且微孔隙和大尺寸裂隙之间比微孔隙和微孔隙之间更易相互贯通，并产生新的宏观裂纹。②围压升高使得三维动态分形维数由缓慢增加、快速增加和平稳增加转变为平稳增加、快速增加和缓慢增加的发展阶段，可表征裂隙的时间演化规律。③含裂隙煤体在单轴或低围压下呈纵向拉伸破坏，高围压会使其破坏方式趋于剪切，并通过2种途径提升煤体强度。④起裂角理论值偏离试验值程度随围压增加而增加，与煤体由矿物分布引起的离散度数值关系一致。⑤根据裂隙的受力成分及矿物分布特征将裂隙扩展行为分为直驱、绕核和错核3种类型，该扩展行为受围压对裂隙的作用力成分影响，由相对纯粹拉应力、拉伸–剪切复合应力和相对纯粹剪应力作用的裂纹分别对应以上3种扩展行为，即对裂隙的扩展影响形式表现为以围压为主，矿物赋存形态为辅。
Abstract:The evolution of fractures is affected by internal and external environments such as the distribution characteristics of mineral particles and confining pressure conditions. In order to explore the macro-meso evolution characteristics and influencing factors of fractures in fractured coal under different confining pressures, based on the industrial CT scanning system and its equipped triaxial loading system, the triaxial static load test of fractured coal was carried out. The interaction mechanism of internal and external conditions of primary fractures, mineral particles and confining pressure is reasonably explained by multi-angle joint characterization. the results showed: ① The confining pressure will shift the significant area of the initial damage of the coal body, so that it transits from the fracture tip to the upper and lower ends of the coal body with the increase of confining pressure, and it is easier to connect between micropores and large-sized fractures than between micropores and micropores, and new macroscopic cracks are generated. ② The increase of confining pressure will lead to the change of three-dimensional dynamic fractal dimension from slow increase, rapid increase and steady increase to the development stage of steady increase, rapid increase and slow increase, which can be used to characterize the time evolution law of fractures. ③ The fractured coal body exhibits longitudinal tensile failure under uniaxial or low confining pressure. The high confining pressure will change its failure mode and tend to shear failure, and enhance the strength of the coal body through two ways. ④ The deviation between the theoretical value and the experimental value of the cracking angle increases with the increase of confining pressure, which is consistent with the discrete numerical relationship caused by the distribution of mineral particles in coal. ⑤ According to the stress composition of the fracture and the distribution characteristics of mineral particles, the fracture propagation behavior is divided into three types: direct drive, bypassing mineral particles and staggering mineral particles. The above propagation behavior depends on the confining pressure to change the force component of the crack. The cracks under the action of relative pure tensile stress, tensile-shear composite stress and relative pure shear stress correspond to the above three propagation behaviors, that is, the influence form of crack propagation is mainly confining pressure, supplemented by the occurrence form of mineral particles.
-
0. 引 言
中国是世界上最大的煤炭生产国，2022年全国煤炭开采量突破45.6亿t，占中国一年能源消耗的56%，煤炭是我国能源战略的压舱石。煤炭的安全开采、高效运输已成为煤炭生产的核心问题[1]。输送带是煤矿井下最重要的运输设备，其运行状态直接影响煤炭开采运输量。在复杂井下开采作业中，输送带上异物诸如大块矸石、锚杆、铁块等异物，如不能及时发现并清除可能会引起输送带撕裂、堵塞落煤口等安全事故，严重影响煤矿生产工作，威胁煤矿工人生命安全[2]。因此对输送物料中混杂的异物进行检测识别，以便提前预警处理，对提高井下输送带运行的稳定性和安全性有重要意义。
针对井下复杂恶劣的环境，国内外众多研究学者很早就尝试使用传统计算机图像处理的方法识别运输带异物。刘富强等[3]通过煤和矸石的灰度直方图曲线差异对其进行区分。程建等[4]应用高斯混合模型区分输送带输送物料中的矸石等异物。余乐[5]构造一种基于非线性灰度压缩–膨胀共生矩阵的煤与矸石识别方法。然而上述方法虽然有处理速度快、信息压缩潜力大等特点，但仍存在人工提取目标特征困难、多目标检测效果差、受环境影响大的缺点，使得基于传统图像处理方法的输送带异物检测算法精度较差[6]。
基于深度学习的目标检测算法拥有通过自学习发现图像中待检测目标多样性特征的能力，对于多目标检测任务具有较好的检测能力。其可按单阶段检测算法和双阶段检测算法来分类[7]。双阶段检测算法首先需要在特征图上生成候选框，然后在此基础上修正目标位置和候选区域范围并进行目标分类，典型算法包括以Fast R–CNN[8]、Faster R–CNN[9]等。吕志强[10]通过优化传统候选框生成方式，设计了一种基于Faster R–CNN的输送带异物识别算法，并通过实验证明该算法具有较高的识别精度。吴守鹏[11]等将双向特征金字塔与Faster R–CNN结合，解决输送带异物多尺度问题，有效提升算法对小尺寸异物的检测能力。单阶段网络跳过了生成候选框阶段，直接输出目标位置和目标类别，主要算法包括SSD[12]、YOLOv3[13]、YOLOv4[14]、YOLO9000[15]等。CHEN等[16]使用了KinD++微光图像增强算法，通过特征处理提高捕获的低质量图像的质量，并通过GridMask方法，对训练图像中的异物进行部分遮盖，实现了对输送带异物检测场景的高效检测。来文豪[17]等利用多光谱系统采集3个波段并构建了伪RGB图像数据集，之后利用YOLOv4网络进行检测，解决了井下图像不清晰的问题。ZHANG等[18]通过引入深度可分离卷积改进YOLOv4的主干网络和颈部，实现了基于YOLOv4的轻量化网络，其检测精度在接受的范围内提升了200%以上的速度。XIAO等[19]则通过剪枝算法简化YOLOv3网络，实现了更小的计算、更快的处理和更小的尺寸。相较于传统的图像识别方法，基于深度学习的目标检测方法更适用于多目标场景,在保证实时性的同时，拥有较高的准确率和鲁棒性。
但现有基于深度学习的异物检测算法仍存在不足之处：首先，输送带工作图片存在图像模糊、颜色信息单一等特点，并且异物目标特征主要由形状、边缘、纹理、轮廓等弱语义特征构成，而现有算法主干网络对异物弱语义信息表征能力弱；其次，部分异物诸如锚杆等异物是宽高比大的细长对象。算法主要使用3×3标准卷积提取目标特征，对细长物体特征不敏感；最后，某些异物的前景内容只占标注框中的很小部分，所提取出的候选区域特征大部分都是图像的背景区域或其他物体，使网络学习过程中容易受到相似背景噪声及非本目标特性引导，导致检测效果差。 为此，本文设计了一种基于低层级特征增强和Transformer机制的YOLOv7-tiny井下输送带异物检测算法FET–YOLO，以期能够自动、快速、准确的发现输送带上的异物，其主要创新点为：①针对细长异物的几何属性,引入可变形卷积[20]改善网络的感受野,以更好提取出感兴趣物体的完整特征；②针对异物前景信息少的问题，构建基于Transformer机制的全局特征提取模块(Spatial Pyamid Pooling with Transformer,SPPT)，提升目标在标注框范围内的显著度，进而提升网络精度；③提出了一种有效的低层级特征图增强模块LFEM，该模块通过融合不同尺度的主干网络输出特征图,增强特征图中属于异物目标的语义特征；④在特征融合阶段引入鬼影混洗卷积GSConv[21]替换3×3大小的标准卷积，保证特征融合效率的同时减少特征图冗余。
1. YOLOv7-tiny算法原理
2022年8月WANG等提出了YOLOv7算法。YOLOv7在YOLOv5的基础上升级改造，使其在检测速度和检测精度上均优于YOLOv5。YOLOv7-tiny是YOLOv7的轻量化版本，虽然精准度有一定损失，但是在运算速度和参数量上有优势，更适合部署煤矿井下的边缘计算GPU设备，其结构由Input, Backbone, Neck, Head四个部分组成。YOLOv7-tiny整体网络结构如图1所示。
Input部分主要负责对输入特征图作预处理，包括调整输入图像为640×640大小、mosaic数据增强、自适应锚框计算与随机裁剪等操作。Backbone部分由高效的聚合网络(Efficient Layer Aggregation Networks, ELAN)和改进空间金字塔池化(CSPSPP)构成，其中高效的聚合网络通过控制最短和最长的梯度路径，提升网络的特征提取能力，增强系统鲁棒性。CSPSPP为一个添加了卷积操作的多分支并行化特征融合模块，通过对特征曾进行3次最大池化，增加网络感受野，有效解决了图像失真的问题，增强网络的线性表达能力；在Neck部分，YOLOv7-tiny采用PANet结构保证主干网络不同层次的特征图信息充分融合，避免梯度衰减，增强网络推理信息的传输，Neck部分接受主干网络C3, C4, C5 层特征图，并将融合后的特征图传给Head。在Head部分使用GIOU_Loss(Generalized Intersection over Union Loss)函数来估算目标检测矩形框损失。
YOLOv7-tiny算法拥有简洁的网络结构，还同时兼顾检测速度和检测精度。不过相较于自然场景下的目标，井下异物目标存在特征弱、信息量少等特点，现有算法仍有优化空间。
2. FET–YOLO网络
本文算法架构如图2所示，其计算流程为：首先，训练集图像经由添加可变形卷积的Backbone提取特征，再将C3,C4和C5层特征图输入给Neck部分；然后在Neck部分对输入的C3和C4层特征图使用低层级特征增强模块LFEM增强特征图中弱语义特征，对C5层特征图使用基于Transformer机制的SPPT模块增强，提升网络对异物前景信息的偏好，并融合增强后的特征图传给Head部分检测，得到训练权重；最后将训练好的网络权重在准备好的测试数据集上得出的客观评价指标对比以证明优化后网络性能的优越性。
2.1 可变形卷积
标准的卷积操作仅计算卷积核中心矩形范围内的像素，无论特征传播的深度和特征图大小如何变化，网络特定位置的感受野始终是固定的。但如图3所示中异物所示，异物目标具有宽高比大的几何属性，通过一些仿射变换的数据增强操作不足以弥补的这种场景。
引入可变形卷积模块增加对图像中物体的特殊几何属性具备良好的适应性，通过章节4中消融实验证明，该改进对井下输送到异物检测任务具有良好的提升效果。
可变形卷积就是卷积核的位置的是可变形的，并非在传统的N×N的网格上的卷积，可以通过自适应学习精确定位物体的形状。可变形卷积的操作一般在二维空间中进行的假设卷积和的采样网格点是$R,R = \{ ( - 1,1),( - 1,0), \cdot \cdot \cdot ,(0,1),(1,1)\} $。则传统卷积输出的特征图中每个元素有${p_0}$，其公式为 :
$$ y({p_0}) = \sum\limits_{{p_0} \in R} {w({p_n}) x({p_0} + {p_n})} $$ (1) 式中，$x$为输入特征图；${p_n}$为枚举$R$中的第n个位置$ w({p_n}) $表示${p_n}$位置的权重。本文使用的可变形卷积模块DCNv2在传统卷积操作上增加了一个偏移量$\{ \Delta {p_n}|n = 1,2, \cdot \cdot \cdot ,N\} $，其中$N = |R|$，同时引入惩罚权重$ \Delta {m_k} $，来区分计算的区域是否为该兴趣的区域，减少了可能引入的无用上下文信息，增强建模能力。让卷积形变为不规则的卷积，由式(1)可以扩展为
$$ y({p}_{0})={\displaystyle \sum _{{p}_{0}\in R}w({p}_{n}) x({p}_{0}+{p}_{n}+\Delta {p}_{n})}\Delta {m}_{k} $$ (2) 因为偏移量$\Delta {p_n}$是一个微小的浮点数，对于$ x({p_0} + {p_n} + \Delta {p_n}) $，在计算时可以通过双线性插值得到式(3)：
$$ x(p) = \sum\limits_{q \in R} {G(q,p) x(q)} $$ (3) 式中，$p = {p_0} + {p_n} + \Delta {p_n}$为任意位置；$q$为枚举输入特征图中的任意位置；${{G}}$为二维的双线性插值卷积核，可以被分为两个一维核，如式(4)所示：
$$ G(q,p) = g({q_x} {p_x}) g({q_y} {p_y}) $$ (4) 其中，$g(a,b) = \max (0,1 - |a - b|)$。
可变形卷积的运行流程与普通卷积类似，首先需要一个额外的卷积层计算输入特征图的偏移量，再通过双线性插值算法得到最终的输出特征图。在训练阶段，可变形卷积网络需要同时学习用于输出特征的和计算偏移量的卷积核，其采样点更能贴近异物的形状，表征能力更强。模块算法流程图如图4所示。
考虑到可变形卷积可能会造成额外的参数量和计算量，为了保证检测网络的轻量化特性，本文仅在主干网络C5部分引入，替换其中3×3大小的标准卷积，以增强主干网络对细长异物的表征能力。
2.2 低层级特征增强模块LFEM
网络实现异物检测需要依赖主干网络输出低层级特征图中包含的形状、纹理、位置等细节信息，这些特征图处于网络的起始阶段，未经过充分处理导致其包含的语义信息少、感受野有限，不能很好的适应输送带异物检测任务需求。
因此本文在金字塔池化模块(Pyramid Pooling Module, PPM)的基础上改进，构建低层级特征强化模块LFEM，通过采用多种尺度不同的池化特征金字塔所构建的多分支结构，拼接形成多通道特征图，横向扩展网络宽度，提高网络对弱语义特征的表征能力的提取能力并增加感受野。LFEM网络结构如图5所示。其中第4条分支通过1×1卷积将从前面网络中提取出的特征图调整为输出特征数。其他3条支路首先通过全局平均池化(Global Average Pooling，GAP)将特征图宽高缩放到原图大小的1/2,1/4和1/8，来获取不同尺度的特征信息，然后通过1×1大小卷积降低通道数为输出通道数的1/16，最后通过双线性插值算法上采样到输入图像尺寸。最后将4条分支的特征图级联，通过1×1卷积调整通道数为输出通道数，以不同尺度的池化操作提取更细腻的异物特征。特征增强模块LFEM的计算过程可以表达为
$$ {W_1} = {f_{_{{\mathrm{up}}}}}(f_{{\mathrm{Conv}}}^{1 \times 1}(f_{{\mathrm{gp}}}^{1/2}(F))) $$ (5) $$ {W_2} = {f_{_{{\mathrm{up}}}}}(f_{{\mathrm{Conv}}}^{1 \times 1}(f_{{\mathrm{gp}}}^{1/4}(F))) $$ (6) $$ {W_3} = {f_{_{{\mathrm{up}}}}}(f_{{\mathrm{Conv}}}^{1 \times 1}(f_{{\mathrm{gp}}}^{1/8}(F))) $$ (7) $$ Y = f_{{\mathrm{Conv}}}^{1 \times 1}({\mathrm{concat}}({W_1},{W_2},{W_3},F) $$ (8) 式中，$ F $为输入特征图; $ f_{{\mathrm{Conv}}}^{1 \times 1} $为卷积核大小为1×1的常规卷积操作，主要起到调整输出特征通道数作用；$ f_{{\mathrm{gp}}}^{1/8} $为全局平均池化，上角标表示池化的特征图缩放倍率；$ {f_{_{{\mathrm{up}}}}} $为双线性插值填充上采样，将特征图尺寸调整与$ F $相同；$ {W_1},{W_2},{W_3} $是3条尺度不同的池化特征金字塔的输出；$ Y $为LFEM得到的新特征图。
主干网络的低层级输出特征图经过LFEM处理后，在不损失分辨率的情况下，提升了网络对于输送带异物图像中颜色信息少，异物边缘不清晰等情况下获取目标特征的能力。
2.3 基于Transformer的特征融合模块
输送带异物普遍存在前景信息弱的问题，如图6所示，异物所占的像素不足其包围框的10%，主干网络提取的特征受背景噪声主导，导致网络鲁棒性较差，识别效果欠佳。为此，本文重构特征融合模块CSPSPP，形成基于Transformer模块的特征融合模块SPPT，通过在下采样后添加MobileViT模块[22]实现对特征图全局信息提取，以提升主干网络输出特征图对异物特征的偏好，使网络在检测过程中能更关注感兴趣的目标。其结构如图7所示。
MobileViT模块通过深度可分离卷积和Transformer结合获取特征图的全局信息。相较于传统的Transformer，MobileViT模块运算速度更快。对于大小为${{H}} \times W \times C$的特征图$X$(${{H}}$为输入特征图高度，$W$为特征图宽度，$C$为特征图通道数)，首先通过一个卷积核大小为3×3大小的深度可分离卷积得到局部建模特征图${X_{\mathrm{M}}}$，然后通过unfold操作将${X_{\mathrm{M}}}$划分为$N$个大小相同的图像块，每个像素中包含$P$个像素($P = w \times h$，$N = (H \times W)/P$，$w$和$h$是预设好的特征块的宽和高)，再将其展开为$P \times N \times C$大小的特征序列${X_{\mathrm{U}}}$，${X_{\mathrm{U}}}$中不同像素块中位置相同的像素通过Transformer模块处理得到大小为$P \times N \times C$全局特征序列$ {{\text{X}}_{\mathrm{G}}} $，如式(9)所示。
$$ {X_{\mathrm{G}}}(p) = {\mathrm{Transformer}}({X_{\mathrm{U}}}(p)),1 \leqslant p \leqslant P $$ (9) 然后通过Transpose 与 Reshape 函数组合成的flod操作折叠$ {{{X}}_{\mathrm{G}}} $到特征图$ {{{X}}_{\mathrm{F}}} $，$ {{{X}}_{\mathrm{F}}} $的大小为 ${{H}} \times W \times C$。与传统的视觉Transformer不同，MobileViT模块通过展平和折叠操作保留了图像块内部像素和图像块之间的位置信息，所以可以不用添加位置编码。最后通过1×1卷积作为MobileViT模块的输出。
MobileViT 模块对全局信息学习有效性如图8所示。图中红色像素点通过Transformer与蓝色像素点建立联系，而蓝色像素点已经通过卷积核大小为3×3的深度可分离卷积与邻近感受了邻近像素的特征。因此$ {{{X}}_G} $中的每一个像素都能对输入特征图$X$中所有的像素进行编码。
本文通过设计$h = w = 2$来保证MobileViT模块输出特征图${X_{\mathrm{w}}}$的感受野能够覆盖分辨率为$H \times W$的输入特征图。相较于直接应该用原版Transformer提取全局特征，MobileViT仅消耗约1/4的计算量，符合井下输送带检测任务对实时性的要求。
2.4 GSConv模块
标准卷积(Standard Convolution，SConv)通过对输入特征图中所有通道进行点积映射来提取特征，卷积核个数等于输出特征数。过多的卷积层堆叠会生成冗余的特征图，消耗过多的计算量和参数量。Ghost Conv模块是由HAN等[23]提出的卷积模块，可以在降低计算量的同时保证模型性能，多用于轻量化网络研究中。其运算操作分为两步，首先利用少量的卷积核对输入特征图进行特征提取，然后对生成的特征图进行线性变化运算，最后将两步操作得到的特征图拼接作为输出特征图。
虽然Ghost Conv替代标准卷积可以有效降低网路的计算需求，但模块使用的线性变化运算会损失通道信息。为此，Li H等提出了GSConv 模块，其结构如图9所示。假设模块的输入通道数为C1,输出通道数为C2。首先通过标准卷积将通道数调整为C2/2，再通过卷积核大小为5×5的深度可分离卷积并保证通道数不变，最后将两个卷积操作得到的特征图拼接并混洗。混洗操作可以将输出的特征图均匀打乱，使标准卷积生成的信息渗透到深度可分离卷积生成的信息中以增强通道信息融合，提高网络的表征能力。
YOLOv7-tiny网路在Neck部分融合不同网络层级的特征图，防止网络退化。随着特征信息不断向深层次网络传递，频繁的对特征图大小和通道数压缩会损失部分语义信息，影响检测精度。为此，本文将GSConv引入Neck部分中，使用GSConv对特征图下采样，减少因采样带来的特征损失，并替换ELAN中卷积核大小为3×3大小的标准卷积。改进后的ELAN模块拥有更好的特征融合能力、更大的感受野，并且参数量和计算量更少。可以在提高网络精度的对网络计算速度。
3. 模型训练及结构分析
本文的实验平台选择ubuntu20.04系统；CPU型号 为Inter(R) Xeon(R) Platinum 8255 c@2.5 GHz，共12个核心；GPU型号为RTX3080，显存容量为10 G；系统内存为40 G；CUDA版本为11.3版本；Pytorch框架为1.11.0版本。
3.1 数据集制作
本文模型训练所采用的数据集取自某煤矿井下输送带，输送带的运动速度为5 m/s，共取得含有大块矸石、锚杆、槽钢等异物的图像
3000 张，使用Labelimg工具标注。共标注目标总数4 458，其中标签为矸石的数量为572，标签为锚杆的数量为1 598，标签为铁器的数量为2 288。通过分析发现数据集现有样本较少且类别不平衡，难以满足需求，有过拟合风险，因此通过采用水平翻转、随机旋转、以及HSV变换操作对数据集进行扩充，扩充后得到图像6332 张，将自建数据集按照7∶3的比例划分为训练集和验证集，划分后数据集具体信息见表1。表 1 数据集详情Table 1. Dataset details数据集 图片数 目标数 矸石 锚杆 铁器 训练集 4432 7620 2412 2230 2978 测试集 1 900 3584 1020 966 1598 总数 6332 11204 3432 3196 4576 3.2 网络模型训练
实验过程中训练批次(batch size)大小设置为32，初始学习率为0.01，共训练300个轮次，优化器采用SDG。Momentum设置为0.937，Weight_decay为0.000 5，输入图像尺寸为640×640。
3.3 评价指标
评价目标检测网络的指标主要有精度(Precision，P)，召回率(Recall，R)，平均精度(Average Precesion，AP)，平均精度均值(mean Average Precesion，(mAP))。
本文选取mAP@0.5和mAP@0.5：0.95作为模型评价指标，mAP@0.5指IoU阈值取50%时的mAP，mAP@0.5:0.95指IoU阈值从50%以5%为步长增长到95%下mAP的平均值。各种评价指标的计算公式如下：
$$ P = \frac{{{\mathrm{tp}}}}{{{\mathrm{tp}} + {\mathrm{fp}}}} $$ (10) $$ R = \frac{{{\mathrm{tp}}}}{{{\mathrm{tp}} + {\mathrm{fn}}}} $$ (11) $$ {\mathrm{AP}} = \int {P{\mathrm{d}}R} $$ (12) $$ {\mathrm{m}}{\mathrm{AP }}= \frac{{\displaystyle\sum\limits_{k = 1}^C {{\mathrm{AP}}(k)} }}{C} $$ (13) 式中，${\mathrm{tp}}$为预测正确的正样本数量；${\mathrm{fn}}$为预测错误样本的负样本数；${\mathrm{fp}}$为预测错误的正样本数。
4. 实验结果分析
为验证本文算法的有效性，将本文算法与YOLOv7-tiny进行，结果如图10所示。
为了验证本文算法做出的各个改进是否有效，设计了一组消融实验进行对比分析，其结果见表2。表2第1行为原始YOLOv7-tiny网络的检测结果。通过第2行可以看出，添加GSConv后，网络参数量减少6.6%、mAP@0.5指标提升2.3%、在mAP@0.5:0.95提升2.7%，证明GSConv能够提高网络的特征融合能力，并减少参数量，且检测速度没有下降。从第3行可以看出添加MobileViT后mAP@0.5指标提升1.0%、在mAP@0.5:0.95提升0.4%，检测速度几乎没有下降，证明MobileViT确实可以增强网络对前景信息的提取能力，并且对检测速度影响不大，但其会多使用0.98 M的参数。添加LFEM后，mAP@0.5指标提升0.6%、在mAP@0.5:0.95提升0.6%，检测速度下降1.5%；添加DCNv2后网络对细长物体的表征能力有所提升，mAP@0.5指标提升2.5%、在mAP@0.5:0.95提升1.8%，参数量和速度几乎没有变化；将4种改进融合后mAP@0.5指标提升4.4%、在mAP@0.5:0.95提升5.6%、参数量增加0.7 M、检测速度下降约10%，本文算法很好的融合了各个模块的优点，并且有很好的实时性。
表 2 消融实验结果Table 2. Ablation resultsGSConv MobileViT LFEM DCNv2 mAP@0.5 mAP@0.5：0.95 参数量/M 检测速度/fps 0.838 0.514 6.01 83.72 √ 0.857 0.528 5.61 81.72 √ 0.846 0.516 6.99 76.32 √ 0.843 0.517 6.02 82.3 √ 0.859 0.523 6.13 81.46 √ √ √ √ 0.875 0.543 6.73 75.26 注：空白为未添加；√为添加模版。 为了验证本文算法的性能，选取3种前沿的轻量化输送带异物检测算法YOLOv5.1-scSE[24]、CBA–YOLO[25]、Fire-Dense-YOLO[26]。这3种算法对煤矿井下环境有特殊优化，在实际场景中拥有很高的检测精度和实时性，与其对比可以保证实验的可信度和算法的有效性。选取含有细长形状异物、低层级信息弱、异物形状纹理信息不明显、含大块矸石4种典型场景进行测试验证，如图11a所示，图中目标已用红框标注，对比结果如图11b-11e所示。
从第1组试验可以看出，YOLOv5.1-scSE, CBA–YOLO, Fire-Dense-YOLO算法生成的包围框不能很好的涵盖异物，而且存在漏检和错检的情况，1个异物会被识别成2个目标。而本文算法通过在主干网络添加可变形卷积操作提高了网络对细长物体的特征的提取能力，生成的检测框更贴合目标。
从第2组试验可以看出，因光照不足影响，异物混合在煤堆中，其特征诸如形状、纹理、边缘等非常不明显。Fire-Dense-YOLO算法只确定出其位置，而YOLOv5.1-scSE和CBA–YOLO算法均漏检。而本文算法通过在低层级添加特征增强模块LFEM，增强低层级特征图中特征信息，进而能有效将目标从相似背景中提取出来。
从第3组试验可以看出，原图中一个大异物的包围框包含很多小异物，且大异物在其包围框的占比很低。在 Fire-Dense-YOLO, YOLOv5.1-scSE, CBA–YOLO生成的结果中，大异物干扰了小异物的识别，并且，大异物自身的识别效果，而本文算法通过引入SPPT模块，实现了对特征图的全局信息提取，增强异物的前景信息，并弱化不相关区域对本目标的影响，进一步提升了网络对目标的表征能力，较好的解决了漏检问题。
从第4组试验可以看出，矸石目标和背景中的煤块形状相似度很高，YOLOv5.1-scSE, CBA–YOLO, Fire-Dense-YOLO均出现错检漏检的情况，而本文算法的通过LFEM模块增强矸石的纹理、颜色信息，有效提高了网络对矸石的区分度，从而提高网络的检测精度。
为了更客观展示本文算法的优越性，将常用的轻量级目标检测网络诸如YOLOX-tiny[27]、YOLOv4-tiny，YOLOv5 s，DETR[28] 等传统目标检测网络和上文提到的3种前沿输送带异物检测算法在相同数据集和训练环境下进行对比，对比实验结果见表3。
表 3 对比实验结果Table 3. Comparative experimental results模型 mAP@0.5 mAP@0.5:0.95 参数量/M FPS YOLOv5.1-scSE 0.87 0.528 7.09 70.14 CBA–YOLO 0.863 0.523 7.07 72.2 Fire-Dense-YOLO 0.831 0.472 4.83 117.06 SSD 0.645 0.371 40.1 70.22 YOLOv3-tiny 0.792 0.443 8.67 116.95 YOLOv4-tiny 0.818 0.464 6.27 83.6 YOLOX-tiny 0.837 0.489 5.03 114.16 YOLOv5 s 0.857 0.527 7.02 76.38 DETR 0.808 0.445 41.28 28.44 YOLOv7-tiny 0.838 0.514 6.01 83.72 本文方法 0.875 0.543 6.73 75.26 由表3结果可以看出，本文算法在mAP@0.5和mAP@0.5:0.95指标上远高于其他9种算法，虽然在检测速度和参数量上略低于Fire-Dense-YOLO和YOLOv3-tiny等算法，但其仍然满足实时性要求。与同为Transformer架构的DETR网络相比，本文算法不仅在模型收敛速度上占优，而且在4项性能指标均有领先。因此，本文算法相较于其他算法具有明显优势，能够有效的检测出输送带上的异物，提高运输效率。
5. 结 论
1)基于低层级特征增强和Transformer机制设计了一种轻量级输送带异物检测算法FET–YOLO。该算法通过可变形卷积克服现有网络模型对细长物体特征困难的问题；采用GSConv增强特征融合能力，减少因特征图大小变化造成的通道信息损失；引入MobileViT模块增强异物目标前景信息，减少背景特征信息对异物检测的干扰；加入低层级特征增强模块LFEM，增加网络对低层级特征的提取能力，进而解决目标难以检测的问题。
2)通过大量试验证明本算法在640×640分辨率的输送带异物图像上的平均精度可达0.875，检测速度达到75fps，性能远优于CBA–YOLO, Fire-Dense-YOLO, YOLOv5.1-scSE等轻量级输送带异物检测算法。
3)本文模型在当前数据集下表现良好，但是对于泛化能力的提升仍需进一步研究。此外模型基于较少数据训练所得，存在一定程度的过拟合问题，未来将进一步扩展数据集的尺寸和场景的丰富程度，以满足矿井下复杂场景的应用要求。
4)本文提出的网络能够有效提升井下输送带异物检测效果，降低安全隐患，保障运输效率，为无人化、智能化煤炭开采提供理论基础，促进计算机视觉技术在煤炭输送领域的发展与应用。
-
![]()
图 4 实时扫描加载的时间–应力曲线
σ1—加载应力；σ3—设置的围压值；t1～t4—两个扫描阶段中间加载阶段的时长
Figure 4. Real-time scanning loading time-stress curve
![]()
图 5 后处理流程及试件按层分区
1—上端部区；2—裂隙上尖端区；3—裂隙区；4—裂隙下尖端区；5—下端部区
Figure 5. Post-processing flow and specimen layer partition diagram
![]()
图 7 不同围压下2次扫描随切片层数裂隙率变化特征
Figure 7. Change characteristics of fissure rate of two scans with number of slices under different confining pressures
![]()
图 8 不同围压条件下煤体三维分形维数增长率
Figure 8. Growth rate of three-dimensional fractal dimension of coal under different confining pressure conditions
![]()
图 9 不同围压下的煤岩破坏模式
Figure 9. Failure modes of coal rock under different confining pressures
![]()
图 13 不同围压下含裂隙煤体主应力差–应变曲线
Figure 13. Principal stress difference-strain curves of fractured coal under different confining pressures
![]()
图 14 双轴静载下含裂隙煤体力学模型
Figure 14. Mechanical model of fractured coal under uniaxial static load
![]()
图 16 扩展路径含有矿物的裂隙受力方式及裂纹演绎结构
Figure 16. Crack stress mode and crack deduction structure of crack propagation path containing minerals
![]()
图 17 失稳煤体矿物对裂隙作用形式
Figure 17. Action form diagram of unstable coal mineral on fracture
表 1 不同围压下试件各分区裂隙率增长值
Table 1 Fissure rate growth value of each partition of specimen under different confining pressures
围压/MPa 2次扫描阶段的平均裂隙率增量/% 下端部区 下尖端区 裂隙区 上尖端区 上端部区 3 5.22 5.79 5.78 7.00 5.39 5 2.97 5.31 4.04 5.13 2.83 7 5.86 4.47 4.53 4.87 5.85 9 5.66 5.65 3.44 5.61 5.73 
下载: 导出CSV
表 2 含裂隙煤样内部裂隙的三维分形维数
Table 2 Three-dimensional fractal dimension of internal cracks in fractured coal samples
围压/MPa 扫描次数 分形维数 增长率/% 3 第1次 2.12 — 第2次 2.09 −1.42 第3次 2.18 4.31 第4次 2.41 10.55 第5次 2.59 7.47 5 第1次 2.1 — 第2次 2.07 −1.43 第3次 2.15 3.86 第4次 2.35 9.30 第5次 2.48 5.53 7 第1次 2.11 — 第2次 2.05 −2.84 第3次 2.12 3.41 第4次 2.31 8.96 第5次 2.37 2.60 9 第1次 2.12 — 第2次 2.03 −4.24 第3次 2.09 2.96 第4次 2.22 6.22 第5次 2.27 2.25
下载: 导出CSV
表 3 加围压前后煤体各分区和体裂隙率及其总体离散度
Table 3 Fissure rate and its standard deviation of each partition and volume of coal in original state
试样编号 初次扫描状态裂隙率/% 离散度 二次扫描状态裂隙率/% 离散度 上端部区 上尖端区 裂隙区 下尖端区 下端部区 上端部区 上尖端区 裂隙区 下尖端区 下端部区 A1 1.94 1.96 10.92 2.26 3.54 3.86 1.72 1.67 10.61 2.02 3.01 3.84 A2 4.48 1.41 17.41 1.94 4.00 6.59 3.72 0.64 16.53 1.19 3.28 6.54 A3 1.42 0.86 14.02 1.03 1.45 5.74 0.90 0.24 13.27 0.38 0.82 5.68 A4 4.17 2.88 18.23 2.16 2.31 6.91 3.19 1.90 16.96 0.82 1.34 6.83
下载: 导出CSV
表 4 含裂隙煤体实际起裂角度及其理论解
Table 4 Actual crack initiation angle of fractured coal and its theoretical solution
试样编号 围压/ MPa 理论起裂角/(°) 实际起裂角/(°) 误差率/% A1 3 46.5 47 1.08 A2 5 44.6 45.5 2.02 A3 7 43.2 44.5 3.01 A4 9 29.8 28.3 5.03
下载: 导出CSV
-
[1] 张培森,许大强,颜 伟,等. 不同围压下峰后循环载荷对砂岩力学及渗流特性的影响研究[J]. 煤炭科学技术,2023,51(7):94−105. ZHANG Peisen,XU Daqiang,YAN Wei,et al. Effect of post-peak cyclic load on mechanics and seepage characteristics of sandstone under different confining pressures[J]. Coal Science and Technology,2023,51(7):94−105.
[2] HAN Yong,ZHAO Yuemao. Effect of the degree of natural cracks development on the mechanical properties of marble[J]. Bulletin of Engineering Geology and the Environment,2023,82(8):301. doi: 10.1007/s10064-023-03319-9
[3] 郭奇峰,武 旭,蔡美峰,等. 预制裂隙花岗岩的裂纹起裂机理试验研究[J]. 煤炭学报,2019,44(S2):476−483. GUO Qifeng,WU Xu,CAI Meifeng,et al. Crack initiation mechanism of pre-existing cracked granite[J]. Journal of China Coal Society,2019,44(S2):476−483.
[4] CHEN Miao,YANG Shengqi,Pathegama GAMAGE Ranjith,et al. Fracture processes of rock-like specimens containing nonpersistent fissures under uniaxial compression[J]. Energies,2019,12(1):79.
[5] 谭 皓,宋勇军,郭玺玺,等. 冻融裂隙砂岩细观损伤与应变局部化研究[J]. 岩石力学与工程学报,2022,41(12):2485−2496. HAO Tan,SONG Yongjun,GUO Xixi,et al. Research on meso-damage and strain localization of fractured sandstone after freeze-thaw cycles[J]. Chinese Journal of Rock Mechanics and Engineering,2022,41(12):2485−2496.
[6] 李 静,刘 晨,刘惠民,等. 基于数字岩心的页岩储层岩石细观损伤机制研究[J]. 岩石力学与工程学报,2022,41(6):1103−1113. LI Jing,LIU Cheng,LIU Huiming,et al. Study on meso-damage mechanism of shale reservoir rock based on digital cores[J]. Chinese Journal of Rock Mechanics and Engineering,2022,41(6):1103−1113.
[7] 李兆霖,王连国,姜崇扬,等. 基于实时ct扫描的岩石真三轴条件下三维破裂演化规律[J]. 煤炭学报,2021,46(3):937−949. LI Zhaolin,WANG Lianguo,JIANG Chongyang,et al. Three-dimensional fracture evolution patterns of rocks under true triaxial conditions based on real-time ct scanning[J]. Journal of China Coal Society,2021,46(3):937−949.
[8] 王登科,曾凡超,王建国,等. Ct显微工业ct的受载煤样裂隙动态演化特征与分形规律研究[J]. 岩石力学与工程学报,2020,39(6):1165−1174. WANG Dengke,ZENG Fanchao,WANG Jianguo,et al. Dynamic evolution characteristics and fractal law of loaded coal fractures by micro industrial[J]. Chinese Journal of Rock Mechanics and Engineering,2020,39(6):1165−1174.
[9] AlMarzouqi H. Digital rock physics:using ct scans to compute rock properties[J]. Ieee Signal Processing Magazine,2018,35(2):121−131. doi: 10.1109/MSP.2017.2784459
[10] CHEN. Lexin,GUO Weiyao,ZHANG Dongxiao,et al. Experimental study on the influence of prefabricated fissure size on the directional propagation law of rock type-i crack[J]. International Journal of Rock Mechanics and Mining Sciences,2022,160:105274.
[11] 王 磊,刘化强,李少波,等. 不同围压下含预制裂隙煤体裂隙演化特征研究[J]. 采矿与安全工程学报,2023,40(4):786−797. WANG Lei,LIU Huaqiang,LI Shaobo,et al. Frature evolution characteristics of prefabricated crack coal under different confining pressures[J]. Journal of Mining & Safety Engineering,2023,40(4):786−797.
[12] 煤和岩石物理力学性质测定方法 第 1 部分:采样一般规定:GB/T 23561.1—2009[S]. 北京:中国标准出版社,2009. Methods for Determining the Physical and Mechanical Properties of Coal and Rock-Part 1:General Requirements for Sampling:GB/T 23561.1—2009[S]. Beijing:Standards Press of China,2009.(in Chinese)
[13] CHOI C S,LEE Y K,SONG J J. Equivalent Pore Channel Model for Fluid Flow in Rock Based on Microscale X-ray CT Imaging[J]. Materials,2020,13:2619.
[14] SAXENA Nishank,HOWS Amie,HOFMANN Ronny,et al. Rock properties from micro-ct images:digital rock transforms for resolution,pore volume,and field of view[J]. Advances in Water Resources,2019,134:103419. doi: 10.1016/j.advwatres.2019.103419
[15] 王 凯,付 强,徐 超,等. 考虑射束硬化的煤岩ct数据阈值分割方法及应用[J]. 煤田与地质勘探,2023,51(4):11−22. WANG Kai,FU Qiang,XU Chao,et al. Threshold segmentation method and application of ct scanning data of coal and rock samples considering beam hardening effect[J]. Coal Geology & Exploration,2023,51(4):11−22.
[16] SCHMITT RAHNER Mayka,HALISCH Matthias,PERES FERNANDES Celso,et al. Fractal dimensions of pore spaces in unconventional reservoir rocks using x-ray nano- and micro-computed tomography[J]. Journal of Natural Gas Science and Engineering,2018,55:298−311. doi: 10.1016/j.jngse.2018.05.011
[17] 张 昆,孟召平,金 毅,等. 不同煤体结构煤的孔隙结构分形特征及其研究意义[J]. 煤炭科学技术,2023,51(10):198−206. doi: 10.1007/BF01020307 ZHANG Kun,MENG Zhaoping,JIN Yi,et al. Fractal characteristics of pore structures on different coal structures and its research significance[J]. Coal Science and Technology,2023,51(10):198−206. doi: 10.1007/BF01020307
[18] AFSHARI Moein MOHAMMAD Javad,VALLEY Benoît,Evans KEITH F. Scaling of fracture patterns in three deep boreholes and implications for constraining fractal discrete fracture network models[J]. Rock Mechanics and Rock Engineering,2019,52(6):1723−1743. doi: 10.1007/s00603-019-1739-7
[19] FERANIE Selly,FAUZI Umar,BIJAKSANA Satria. 3d fractal dimension and flow properties in the pore structure of geological rocks[J]. Fractals,2011,19(3):291−297. doi: 10.1142/S0218348X1100535X
[20] ALFONSO Ismeli,BELTRÁN Alberto,ABATAL Mohamed,et al. Fractal dimension determination of rock pores by multi-scale analysis of images obtained using om,sem and xct[J]. Fractals,2018,26(5):1850067. doi: 10.1142/S0218348X18500676
[21] OHTSU. Acoustic emission (AE) and related non-destructive evaluation (NDE) techniques in the fracture mechanics of concrete[M]. United Kingdom:Woodhead Publishing,2021.
[22] 蔡美峰. 岩石力学与工程[M]. 北京:科学出版社,2013. [23] ELFGREN L,SHAH S P,HILLERBORG Arne. Analysis of concrete structures by fracture mechanics[M]. London:Chapman and Hall,1991:305.
[24] 李世愚. 岩石断裂力学[M]. 北京:科学出版社,2016. [25] MUSKHELISHVILI N I. Some basic problems of the mathematical theory of elasticity:fundamental equations,plane theory of elasticity,torsion,and bending[M]. Groningen:P. Noordhoff,1953:704.
[26] 赵彦琳,范 勇,朱哲明,等. T应力对闭合裂纹断裂行为的理论和实验研究[J]. 岩石力学与工程学报,2018,37(6):1340−1349. ZHAO Yanlin,FAN Yong,ZHU Zheming,et al. Analytical and experimental study on the effect of t-stress on behavior of closed cracks[J]. Chinese Journal of Rock Mechanics and Engineering,2018,37(6):1340−1349.
[27] 陈 篪. 论裂纹扩展的判据[J]. 金属学报,1977,13(1,2):57−72. CHEN Chi. On the criterion of crack propagation[J]. Acta Metallurgica Sinica,1977,13(1,2):57−72.
[28] 王俊杰,黄诗渊,郭万里,等. 考虑裂缝几何特性和t应力的类岩石材料压剪张拉断裂准则[J]. 岩土工程学报,2020,42(9):1622−1631. WANG Junjie,HUANG Shiyuan,GUO Wanli,et al. Compression-shear tension fracture criteria for rock-like materials considering geometric characteristics of cracks and t-stresses[J]. Chinese Journal of Geotechnical Engineering,2020,42(9):1622−1631.
[29] LEBLOND JeanBaptiste. Basic results for elastic fracture mechanics with frictionless contact between the crack lips[J]. European Journal of Mechanics – A/Solids,2000,19(4):633−647. doi: 10.1016/S0997-7538(00)00178-9
[30] VARVANI-FARAHANI A,MIRANI A S. Derivation of closure-free crack growth rate under biaxial fatigue loading conditions[J]. Scripta Materialia,2003,48(3):241−247. doi: 10.1016/S1359-6462(02)00387-1
[31] MOUSAVI S Mahmoud,Aifantis ELIAS C. Dislocation-based gradient elastic fracture mechanics for in-plane analysis of cracks[J]. International Journal of Fracture,2016,202(1):93−110. doi: 10.1007/s10704-016-0143-5
[32] ELMHAIA Oussama,BELAASILIA Youssef,ASKOUR Omar,et al. Numerical analysis of frictional contact between crack lips in the framework of linear elastic fracture mechanics by a mesh-free approach[J]. Theoretical and Applied Fracture Mechanics,2023,124:103749. doi: 10.1016/j.tafmec.2023.103749
[33] GUO Meng,TAN Yiqiu,WANG Linbing,et al. A state-of-the-art review on interfacial behavior between asphalt binder and mineral aggregate[J]. Frontiers of Structural and Civil Engineering,2018,12(2):248−259. doi: 10.1007/s11709-017-0422-x
[34] 胡训健,卞 康,刘 建,等. 细观结构的非均质性对花岗岩蠕变特性影响的离散元模拟研究[J]. 岩石力学与工程学报,2019,38(10):2069−2083. HU Xunjian,BIAN Kang,LIU Jian,et al. Discrete element simulation study on the influence of microstructure heterogeneity on the creep characteristics of granite[J]. Chinese Journal of Rock Mechanics and Engineering,2019,38(10):2069−2083.
[35] DU Hongbo,DAI Feng,WEI Mingdong,et al. Dynamic compression–shear response and failure criterion of rocks with hydrostatic confining pressure:an experimental investigation[J]. Rock Mechanics and Rock Engineering,2021,54(2):955−971. doi: 10.1007/s00603-020-02302-0
-
期刊类型引用(3)
1. 梅晓虎，吕小强，雷萌. 基于Stair-YOLOv7-tiny的煤矿井下输送带异物检测. 工矿自动化. 2024(08): 99-104+111 . 
百度学术
2. 陈腾杰，李永安，张之好，林斌. 基于改进YOLOv8n+DeepSORT的带式输送机异物检测及计数方法. 工矿自动化. 2024(08): 91-98 . 百度学术
3. 郭志聪，张雷. 基于改进YOLOv8的低照度煤矿传送带异物识别算法. 电子测量技术. 2024(21): 188-196 . 百度学术
其他类型引用(1)
计量
- 文章访问数: 94
- HTML全文浏览量: 7
- PDF下载量: 49
- 被引次数: 4
