A lightweight-based method for real-time monitoring of lump coal on conveyor belts
-
摘要:
煤炭是重要的国家能源，在煤炭的生产、转运的过程中主要依靠输送带传送。然而借助输送带转运时，大块煤炭影响输送带的安全运行。针对煤炭运输过程中的块煤监测问题，提出一种基于轻量化神经网络的输送带块煤实时监测方法（AHE Mosaic Ghost CBAM YOLOv5，AMGC YOLOv5）。首先，利用自适应直方图均衡化（Adaptive Histogram Equalization，AHE）进行图像数据预处理，降低煤尘、粉尘以及煤矿井下光线对目标监测的影响，提高数据集的清晰度和对比度，同时结合Mosaic多数据增强提高数据集的丰富度。其次，引入Ghost Net轻量化神经网络，充分利用特征提取与特征图冗余特性之间的关系，将传统卷积操作与轻量化线性操作相结合，在保证检测精度的同时，极大程度减少模型的参数量和浮点计算量。最后，结合CBAM（Convolutional Block Attention Module）注意力机制依次完成通道特征提取和空间特征提取，改善特征提取的倾向性，提高模型的表征能力，降低背景图像的干扰。试验结果表明：改进以后的AMGC YOLOv5算法在模型轻量化方面，网络层数减少145层，模型体积压缩58.8 M；参数量和浮点计算量分别减少约63.60%和68.86%；训练时长减少约0.76 h，GPU使用率减少约21.78%。此外，在模型性能方面，精确度提升约0.91%，实时监测效率从68.34 FPS提高至94.34 FPS，提高约38.05%。由此可见，AMGC YOLOv5不仅实现轻量化，而且能够有效提升模型的各项检测性能。
Abstract:Coal is an essential national energy source, which is mainly conveyed by the conveyor belts in the process of coal production and transportation. However, when transferred by means of the conveyor belt, lump of coal affects the safe operation of the conveyor belt. For the problem of lump coal monitoring during coal transportation, so the AMGC YOLOv5（AHE Mosaic Ghost CBAM YOLOv5） lightweight neural network based method for the real time monitoring of lump coal on conveyor belt is proposed. First, Image data pre-processing using adaptive histogram equalization (AHE), reducing the impact of coal dust, dust and underground coal mine light on target monitoring, and to enhance the clarity and contrast of the data set. At the same time combined with Mosaic data to increase the richness of the data set. Subsequently, The Ghost Net lightweight neural network is introduced to make full use of the relationship between feature extraction and redundancy characteristics of feature maps, and combine traditional convolutional operation with lightweight linear operation, which greatly reduces the number of parameters of the model and the amount of floating point computation while ensuring the detection precision. Eventually, combined with Convolutional Block Attention Module (CBAM) mechanism to complete the channel feature extraction and spatial feature extraction sequentially. To enhance the feature extraction process, improve the ability to characterize, and reduce interference from background images. The experimental results showed that: The improved AMGC YOLOv5 algorithm in terms of model lightweight, The number of network layers is reduced by 145, and the model volume is compressed by 58.8 M.The number of parameters and floating point calculations are cut by about 63.60% and 68.86%.Training hours were reduced by about 0.76 hours , and GPU usage was reduced by about 21.78%.In addition, in terms of model performance, Precision was improved by about 0.91%, and real-time monitoring efficiency was improved by about 38.05% from 68.34 FPS to 94.34 FPS. It can be seen that AMGC YOLOv5 not only realizes lightweight, but also can effectively improve the model's various detection performance.
-
0. 引 言
在“双碳”战略驱动下，煤为主体的基本国情决定煤炭将进一步发挥战略性资源的作用。输送带作为煤矿井下煤炭运输的重要设备，保障着煤炭的安全、高效运输[1-2]。在煤炭的出井、转场、运输过程中，输送带作为主要的运输设备，长时间、高效率、高负荷运行[3]。然而，输送带表面的大块煤炭易对煤炭的安全运输产生不利影响。因此，对大块煤炭进行实时监测至关重要[4]。
当前，深度学习方法和计算机视觉技术在输送带上的监测已经有较为广泛的应用[5]。毛清华等[6]针对带式输送机中识别异物的问题，改进YOLOv7算法模型，使得在煤矿带式输送机异物识别的精确度达92.8%，充分满足精确识别带式输送机异物的要求，但实时监测效率不理想。针对光照不均和煤尘粉尘对目标检测的影响，郝帅等[7]通过自适应直方图均衡化方法提高目标图像的清晰度，并结合卷积注意力机制提升被检测异物的显著度，增强目标检测网络的表达能力，优化损失函数，提高模型对异物的精确度和实时监测速度。
此外，蔡秀凡等[8]发现基础YOLOv4的深度学习网络存在针对小块煤矸石漏检与误检的缺陷，通过采用修改K-means初始锚框参数与增加一个检测通道，并加入SE注意力机制，来改进算法克服小块煤矸石漏检的缺陷。同样地，张渤等[9]使用OpenCV完成图像预处理，再对图像进行灰度化操作和阈值分割，去除背景部分，将运动的大块目标物摘取出来进行标注，从而对运动目标进行准确有效的分析，大块物体监测精确度超过80%。可见，基于计算机视觉的块煤实时监测能够高精度地完成，保障输送带安全。
除此之外，块煤的异常掉落会影响输送带的运行安全，会导致输送带异常震动，特别是在高速运转的情况下，甚至导致内部钢芯局部断裂。吴守鹏等[10]为解决大块矸石以及铁器进入运煤输送带系统，所造成输送带损伤、撕裂等问题，以Faster-RCNN为基础，通过自底向上和自顶向下2个多尺度特征融合过程提高输送带异物识别精确度。此外，一种基于图像边缘和相似度检测的块煤掉落异常检测算法[11]，其通过提取边缘噪声有效提升图像清晰度，最终实现高精度高效率的块煤掉落异常检测，弥补人工监测的不足。
刘普壮[12]研究煤矸石智能、环保及高效的识别，利用卷积神经网络技术实现煤矸石目标高维特征的自动提取，使得选矸机器人能适应复杂环境和煤矸石的多样性，再运用深度学习的方法，可实时输出煤矸石目标检测结果，包含煤矸石的类别信息和位置信息，提高煤矸石检测系统的精确度和稳定性。文献[13]认为不同规格的煤块混杂在一起不仅会降低煤炭的质量，而且可能损坏输送机，因此在YOLOv3算法中使用K-means对异物进行聚类，有效提高识别准确率，保障输送机的运行安全。
综上所述，通过计算机视觉完成块煤实时监测效果显著，但普遍存在模型结构复杂不适用于嵌入式，精确度和召回率不高，实时性能不理想等问题[14-15]。因此，为解决上述问题，提出基于轻量化神经网络的块煤实时监测方法AMGC YOLOv5。
1. AMGC YOLOv5检测方法
在YOLOv5算法的基础上，通过数据预处理降低煤矿井下煤尘、粉尘、以及光照不均对图像的影响，改善数据集质量。引入Ghost轻量化网络简化模型结构，降低特征提取的冗余性。最后，结合CBAM机制增强大块煤炭在复杂背景中的显著度，实现高精确度高效率的块煤实时监测。最终得到改进以后的AMGC YOLOv5模型。
AMGC YOLOv5示意如图1所示。经过数据预处理后的图像输入算法，在特征提取网络中，使用6×2的矩形卷积，充分提取输入图像的信息。接着，4组轻量化卷积Ghost Conv不断地进行下采样，使得输入图像从640×640减小至20×20，最后在特征提取的骨干网络的每一个轻量化残差模块之后引入CBAM机制，使得特征提取趋势不断向所需要的方向发展。在模型预测输出端，经过特征提取和特征融合后，输出80×80、40×40和20×20共3种不同大小特征图，并形成可视化输出，最终监测结果中包含定位信息、分类信息和置信度信息。
AMGC YOLOv5首先在输入图像前进行自适应直方图均衡化和Mosaic多数据增强数据预处理，有效解决井下环境对图像的影响；其次融合轻量化卷积Ghost Conv和Ghost Bottleneck，减少模型计算量，实现模型轻量化；最后在特征提取网络中增加CBAM机制，有效改善特征提取的倾向性，实现平衡模型精确度和实时监测速度的平衡。
改进以后的输送带块煤实时监测算法AMGC YOLOv5从多角度进行改进与优化。在模型轻量化方面，模型结构简单、计算量较少，符合智能化嵌入式设备发展需求。在模型精确度方面，模型精确度明显提高，而且波动范围小，更加稳定。在模型实时性能方面，连续监测过程中检测速度稳定，能够满足煤矿井下煤炭运输的需要。
1.1 数据预处理
针对煤矿井下环境昏暗、光照不均，特别是输送带运载煤炭块煤监测的数据集质量较差的问题，使用自适应直方图均衡化AHE数据集预处理[16]和Mosaic数据增强[17]能够提高图像的对比度，有效地提升数据集图像的质量。
假设在输送带运载煤炭的块煤实时监测过程中输入图像的灰度级波动范围是$ [0,L - 1] $，输入图像的直方图可表示为：
$$ P({r_i}) = {n_i}/n,(i = 0,1,2,\cdots,L - 1 )$$ (1) 式中：$ {r_i} $为第$ i $个灰度级；$ n $为输入图像的像素总数；$ {n_i} $为图像中第$ i $个灰度级的像素总数。
为方便计算和分析，如式(2)所示，首先对原始图像进行归一化处理，然后进行$ T(r) $冈萨雷斯变换：
$$ {s_i} = T({r_i}) = \sum\limits_{j = 0}^i {{P_r}({r_j})} = \sum\limits_{j = 0}^i {\frac{{{n_j}}}{n}} $$ (2) 使之满足：$ 0 \leqslant {r_i} \leqslant 1 $，$ 0 \leqslant s_{i} \leqslant 1 $。因此，自适应直方图均衡化变换函数为：
$$ {r_i}' = round((L - 1),{s_i}),(i = 0,1,2,\cdots,L - 1) $$ (3) 其中，$ {r_i}' $为自适应直方图均衡化后的灰度级；$ round(·) $为四舍五入的取整运算。
如图2所示，经过AHE预处理后的图像对比度有效提升，块煤的轮廓清晰度明显增强，为后续高精度、高效率的目标检测奠定基础。
除此之外，考虑到煤矿企业的特殊性，输送带相关的数据集数量有限，为变相提高数据集的数量，增强模型的泛化能力，在原有Mosaic数据增强的基础上，将9张数据集图片依次顺时针方向进行裁剪、拼接，形成融合多元信息的Mosaic数据增强方式。
1.2 Ghost轻量化网络
由于计算资源有限，在嵌入式设备上部署传统卷积神经网络是困难的。多层不同尺度的卷积操作会产生大量的冗余特征图。为使得网络在保证较高检测精度的同时，最大程度地简化模型结构，因此，在特征提取过程中，将传统卷积替换为Ghost Conv[18]。Ghost Conv在传统卷积的基础上进行改进与优化，由传统卷积和少量的线性变换组成，降低卷积过程中特征提取的难度，能够获得更多的特征信息。
Ghost 轻量化卷积如图3所示。首先输入的图像经过传统的卷积，一部分生成一些内在的特征映射来保留原本特征，然后一部分执行计算量较少的线性变换$ {\varPhi _k} $，产生Ghost特征图。最后将原本特征图和Ghost特征图进行拼接，完成Ghost轻量化卷积输出特征图。
Ghost 轻量化卷积在保持原本性能的同时，不仅有效地降低计算成本，压缩模型体积，而且提升卷积运算速度和效率，并在Ghost特征图中获得更多有用信息，更有利于模型训练。
Ghost Conv不仅模型轻量，而且具有“即插即用”的功能。Ghost Net[18]包含轻量化卷积模块Ghost Conv和轻量化残差模块Ghost Bottleneck两部分。Ghost轻量化残差模块是由2个Ghost轻量化卷积堆叠而成。第一个Ghost Conv作为扩展层，增加通道数，充分提取特征信息，然而为满足该模块的普适性，第2个Ghost Conv还原通道数，并与经过下采样的输入信息充分融合，高效率的实现特征信息的传递。
在输送带块煤实时监测中，引入Ghost轻量化网络减少计算量，提升卷积运算的速度和效率，有效地实现轻量化处理。
1.3 CBAM注意力机制
为解决煤矿井下环境复杂，影响块煤目标检测显著度的问题，引入CBAM[19]注意力机制。CBAM注意力模块是一个简单而有效地前馈卷积神经网络的注意力模块，该模块可以同时沿着通道和空间两个独立维度推导出各自的权重系数，然后将其输入特征图进行特征的自适应细化。
假设给定特征图$ F \in {\mathbb{R}^{C \times H \times W}} $，并分别产生通道注意力图$ {M_c} \in {\mathbb{R}^{C \times 1 \times 1}} $和的空间注意力图$ {M_s} \in {\mathbb{R}^{1 \times H \times W}} $，因此通道和空间特征提取的过程可以被概括为：
$$ F' = {M_c}(F) \otimes F $$ (4) $$ F'' = {M_s}(F') \otimes F' $$ (5) 其中：$ \otimes $表示元素之间的相乘。在元素相乘的过程中，注意力值被相应的传播和复制，通道注意力值将沿着空间维度进行传播，反之亦然。$ F'' $表示最终的输出。
如图4所示，首先输入特征首先进入通道注意力模块，经过最大池化($ {\text{MaxPool}} $)和平均池化($ {\text{AvgPool}} $)操作得到特征向量$ {F_{\max }} $和$ {F_{{\text{avg}}}} $，并将它们传输至具有隐藏层的多层感知机共享网络(MLP)中叠加，最后经过sigmoid函数的归一化处理后得到权重参数并进行权重赋值，以生成通道注意力图$ {M_c} \in {\mathbb{R}^{C \times 1 \times 1}} $，因此通道注意力的计算公式表示为：
$$ \begin{gathered} {M_c}(F) = \sigma [{\text{MLP}}({\text{AvgPool}}(F)) + {\text{MLP}}({\text{MaxPool}}(F))] \\ = \sigma [{{\text{W}}_1}({{\text{W}}_{\text{0}}}(F_{{\text{avg}}}^{\text{c}})) + {{\text{W}}_{\text{1}}}{\text{(}}{{\text{W}}_{\text{0}}}(F_{{\text{max}}}^{\text{c}}))] \\ \end{gathered} $$ (6) 式中：$ \sigma $定义sigmoid激活函数，$ {{{W}}_{\text{0}}} \in {\mathbb{R}^{C/\gamma \times C}} $，$ {{{W}}_1} \in {\mathbb{R}^{C \times C/\gamma }} $，$ {{{W}}_{\text{0}}} $和$ {{{W}}_{\text{1}}} $分别为池化和共享网络之后的权重，其中$ \gamma $为通道缩减率，目的是压缩输入特征图的空间维度以提升通道注意力模型的计算效率。
将生成的特征图$F'$传入空间注意力模块能够充分利用特征图的内部关系生成空间注意力特征图，是对通道注意力模型的补充。在空间注意力模型中，同样地，首先经过最大池化和平均池化聚合通道信息，产生2个图$ F_{{\mathrm{avg}}}^s \in {\mathbb{R}^{1 \times H \times W}} $和$ F_{\max }^s \in {\mathbb{R}^{1 \times H \times W}} $。然后对其进行拼接生成有效的特征描述符，并通过卷积操作生成调整特征权重以后的空间注意力图$ {M_s}(F) \in {\mathbb{R}^{1 \times H \times W}} $，因此空间注意力的计算式如下：
$$ \begin{aligned} {M_s}(F)& = \sigma [{f^{k \times k}}({\text{AvgPool}}(F);{\text{MaxPool}}(F))] \\ &= \sigma [{f^{k \times k}}(F_{{\text{avg}}}^{\text{s}};F_{\max }^{\text{s}})] \\ \end{aligned} $$ (7) 其中，$ {f^{k \times k}} $为$ k \times k $大小卷积的卷积操作。
综上所述，CBAM能够即插即用使其能够被无缝融合在任何的卷积神经网络结构中，并且不增加其他额外的计算成本。有效地解决无注意力偏好的问题，使得在监测过程中能够更多的关注块煤，更加高效的完成特征提取。
2. 试验结果与分析
试验仿真硬件设备CPU为Inter Core i9-10900k@3.7GHz，NVidia GeForce RTX 3080 10G与DDR4 3600MHz 双内存，通过开发语言Python 3.8.5、编程工具Pycharm 2020、深度学习学习框架Pytorch1.8和 CUDA11.3深度学习环境进行测试。
优质视频数据经过单帧化处理和图像对比、筛选以后，获得1 200张处理后更加清晰的图像，其中训练集800张，验证集200张，测试集200张。此外，随机截取测试视频10 min，以验证模型的实际检测效果。图像输入为640×640，学习率为0.01，余弦退火超参数为0.1，权重衰减系数为0.000 5，动量梯度下降中动量参数为0.937，迭代训练500次，Batch size为10。
2.1 消融试验
在模型训练过程中，消融试验能够验证各个模块的必要性，因此，通过增减不同的模块可以数据化的展现其在算法模型中的作用和效果[20]。AMGC YOLOv5消融试验结果见表1。
表 1 消融试验结果Table 1. Ablation experiments results模型 模块 精确度/% 实时性能 AHE Mosaic Ghost Net CBAM YOLOv5 — — — — 59.53 68.34 ① √ — — — 60.22 68.34 ② — √ — — 59.76 68.97 ③ √ √ — — 60.41 69.45 ④ √ √ √ — 60.30 78.74 ⑤ √ √ √ √ 60.44 94.34 注：表中“√”指引入该模块，“—”指不引入该模块。 由表1可知，块煤监测过程中，在原始算法模型的基础上进行图像预处理，模型①、模型②中分别单独引入AHE、Mosaic。试验结果表明，单独引入AHE，模型精确度从59.53%提升到60.22%，单独引入Mosaic，模型实时性由68.34FPS提升到69.45FPS。基于此，模型③中，同时引入AHE、Mosaic，实现精确度和实时性的双重提升。此时模型③的精确度为60.41%，实时性为69.45FPS。
在模型③的基础上，为简化模型结构，提升模型性能，模型④和模型⑤中逐步依次增加Ghost轻量化网络和CBAM机制。不仅简化模型结构，降低模型计算量，而且有效提升模型的精确度和实时性。模型⑤即本文所提AMGC YOLOv5输送带块煤实时监测模型，与原始算法相比，精确度和实时性能分别提升约0.91%和38.05%。
2.2 对比试验
为验证模型在输送带块煤实时监测性能，分别使用YOLOv5、YOLOv7和YOLOv8等3种不同的算法进行试验，试验结果见表2。
表 2 不同算法对比试验Table 2. Comparative experiment of different algorithms模型 YOLOv5 YOLOv7 YOLOv8 AMGC YOLOv5 浮点运算/G 107.9 104.8 165.4 33.6 参数量/106 46.13 37.22 43.61 16.79 模型体积/MB 92.7 74.8 87.7 33.9 精确度/% 59.53 58.13 59.41 60.44 召回率/% 54.30 56.08 54.73 56.05 由表2可知， YOLOv8 算法的浮点运算量高达165.4 G，远大于YOLOv5 和YOLOv7 算法，而AMGC YOLOv5算法比其小约79.69%。同时，相较于YOLOv7 算法，改进后的AMGC YOLOv5参数量少约20.43×106个参数量，模型体积减小约40.9 MB。改进后的AMGC YOLOv5算法的准确率最高，达到60.44%。此外，YOLOv7 的召回率最高，但模型体积太大，这可能导致块煤监测需要更大的计算设备。因此，在 YOLOv5法的基础上，改进后的AMGC YOLOv5算法参数量和浮点运算量更少，模型体积更小，适合未来智能设备的需要。
2.3 模型轻量化分析
输送带块煤实时监测受到井下环境中煤尘、粉尘的影响，因此大型计算机硬件和通信设备可操作性差，监测效果不理想。然而，引入轻量化模型简化模型结构，降低计硬件资源消耗。
如图5所示，与YOLOv5原始算法对比，改进的AMGC YOLOv5轻量化优势明显。从模型网络层数、参数量、浮点运算量以及GPU使用率和模型体积5个评判模型轻量化的主要方面分析。
GPU的使用率从3.49 GB降低至2.73 GB，同时迭代500次训练时长降低约0.766 h。在模型结构方面，网络层数从468层减少至323层；参数量和浮点运算量分别减少约63.60%和68.86%。训练所得的模型体积从92.7 MB压缩至33.9 MB，减少约63.43%。可见，AMGC YOLOv5能降低硬件消耗。
2.4 模型精确度分析
通过对比模型精确度P和mAP@0.5精度曲线，衡量模型精确度优化效果。如图6所示，在500次的迭代训练过程中，YOLOv5与AMGC YOLOv5的模型精确度曲线不断上升，最终趋于相对稳定。最终YOLOv5算法的精确度为59.53%，而AMGC YOLOv5的精确度为60.44%。
如图6所示，AMGC YOLOv5的折线图相对起伏波动较小，并且数值也相对更高。证明所提AMGC YOLOv5算法在模型精确度方面具有较好的性能。
mAP@0.5表示IOU阈值所有类别平均精度的平均值。在输送带块煤实时监测中，原始算法mAP@0.5平均的结果为53.110%，而在AMGC YOLOv5算法mAP@0.5平均结果为54.102%。
如图7所示，在迭代训练初期，YOLOv5原始算法极度不稳定，剧烈升降较多。相比于原始算法，AMGC YOLOv5精确度波动范围很小，算法训练过程中更加稳定。在迭代训练一定的次数后逐渐趋于收敛，波动性更小。
综上所述，通过性能评估指标模型精确度P和mAP@0.5与原始的算法对比，证明所提AMGC YOLOv5算法具有较好的监测精确度，满足精准识别块煤的要求，提升煤矿井下运输的安全性。
2.5 模型实时性能分析
在输送带块煤实时监测中，模型的实时监测性能由每秒实时处理图像或视频帧数FPS（Frames Per Second）大小来衡量[21]。FPS越大，则每秒钟所处理的帧数越多，说明模型的流畅度越高，模型的实时性能越好，反之亦然。通常情况下，实时监测性能要求检测效率大于30 FPS[22]。
在块煤实时监测过程中，使用训练过程中得出的最佳模型测试，选取测试集的30张图像和10 s的视频进行实时性能监测，实时性能如图8所示。
YOLOv5实时监测性能约为68.34FPS，AMGC YOLOv5实时监测性能约为94.34FPS,提升38.05%。此外，随机截取10 s的监测视频，其监测性能约为93.35 FPS，相比较于原始算法提升约36.66%。
同时，原始算法监测每一帧的用时在0.023～0.014 s范围之间，其中19张图像监测用时稳定在0.014 s。而AMGC YOLOv5监测每一帧的用时约在0.018～0.010 s范围之间，其中23张图像监测用时稳定在0.010 s。改进的算法有效提高网络的检测速度，可实现高速运动背景下的块煤监测[23-24]。
2.6 可视化监测结果
在块煤实时监测过程中，原始和改进算法的监测效果对比如图9所示。改进后的AMGC YOLOv5算法图像的清晰度显著提高，监测精确度和置信度也更高，较好地解决目标漏检、误检和重叠的问题[25]。
如图9a所示，原始YOLOv5算法存在误检的问题。在图9b中可见，待检测块煤的数量为5，YOLOv5算法检测到3块大块煤炭，而改进后的AMGC YOLOv5算法则能够检测到5块大块煤炭以及更高的检测置信度。由此可见，AMGC YOLOv5算法在改进后具有更高的召回率和置信度。
在图9c中，对于块煤聚集的时候，原始算法会出现监测重叠的情况。AMGC YOLOv5算法检测效果理想，置信度更高，减少漏检，同时也能够满足实时性的要求。
3. 结 论
1）结合计算机视觉技术和深度学习方法，采用AHE、Mosaic图像预处理减少煤尘干扰，提高图像对比清晰度；融合轻量化网络简化模型结构，降低模型复杂性；结合CBAM机制增强块煤的特征表达能力，解决输送带块煤实时监测过程中模型结构复杂，监测精确度和实时性能差的问题，保证输送带运载煤炭过程中对块煤的实时监测。
2）在自建输送带块煤数据集上进行大量的对比试验，与YOLO系列前沿模型YOLOv7和YOLOv8等相比，有明显优势。可见，AMGC YOLOv5方法在具备轻量化的同时，具有高监测精确度以及高监测速度，可以支持井下监控视频作为输入的输送带块煤实时监测任务。
3）后续将进一步探索更高精度的实时监测方法，并进行一系列矿井环境监测数据的增强，以促进智慧矿山的发展。
-
表 1 消融试验结果
Table 1 Ablation experiments results
模型 模块 精确度/% 实时性能 AHE Mosaic Ghost Net CBAM YOLOv5 — — — — 59.53 68.34 ① √ — — — 60.22 68.34 ② — √ — — 59.76 68.97 ③ √ √ — — 60.41 69.45 ④ √ √ √ — 60.30 78.74 ⑤ √ √ √ √ 60.44 94.34 注：表中“√”指引入该模块，“—”指不引入该模块。 
下载: 导出CSV
表 2 不同算法对比试验
Table 2 Comparative experiment of different algorithms
模型 YOLOv5 YOLOv7 YOLOv8 AMGC YOLOv5 浮点运算/G 107.9 104.8 165.4 33.6 参数量/106 46.13 37.22 43.61 16.79 模型体积/MB 92.7 74.8 87.7 33.9 精确度/% 59.53 58.13 59.41 60.44 召回率/% 54.30 56.08 54.73 56.05
下载: 导出CSV
-
[1] 毕东月. 基于深度学习的输煤皮带故障视觉检测方法研究[J]. 中国安全生产科学技术,2021,17(8):84−90. doi: 10.11731/j.issn.1673-193x.2021.08.013 BI Dongyue. Research on visual detection method for fault of coal conveyor belt based on deep learning[J]. Journal of Safety Science and Technology,2021,17(8):84−90. doi: 10.11731/j.issn.1673-193x.2021.08.013
[2] 任怀伟,王国法,赵国瑞,等. 智慧煤矿信息逻辑模型及开采系统决策控制方法[J]. 煤炭学报,2019,44(9):2923−2935. REN Huaiwei,WANG Guofa,ZHAO Guorui,et al. Smart coal mine logic model and decision control method of mining system[J]. Journal of China Coal Society,2019,44(9):2923−2935.
[3] 张 佳, 尹君驰, 王 宏, 等. 输送带输煤采样技术研究现状及发展趋势[J]. 煤炭科学技术,2022,50(9):200−206. ZHANC Jia, YIN Junchi, WANC Hong, et al. Research status and development trend of belt coal sampling technology[J]. Coal Science and Technology,2022,50(9):200−206.
[4] 王海军, 王洪磊. 带式输送机智能化关键技术现状与展望[J]. 煤炭科学技术,2022,50(12):225−239. WANG Haijun, WANG Honglei. Status and prospect of intelligent key technologies of belt conveyorr[J]. Coal Science and Technology,2022,50(12):225−239.
[5] 章 赛,纪 凡,卢才武,等. 低照度下改进YOLOX的煤矿无人电机车轨道障碍物检测方法[J/OL]. 安全与环境学报,2013:1−12. https//DOI: 10.13637/j.issn.1009-6094.2023.0349. ZHANG Sai,JI Fan,LU Caiwu, et al. An improved YOLOX detection method for tracking obstacles of unmanned electric locomotive in coal mines under low lighting [J/OL]. Journal of Safety and Environment,2013:1−12. https//DOI: 10.13637/j.issn.1009-6094.2023.0349.
[6] 毛清华,李世坤,胡 鑫,等. 基于改进YOLOv7的煤矿带式输送机异物识别[J]. 工矿自动化,2022,48(12):26−32. MAO Qinghua,LI Shikun,HU Xin,et al. Foreign object recognition of belt conveyor in coal mine based on improved YOLOv7[J]. Journal of Mine Automation,2022,48(12):26−32.
[7] 郝 帅,张 旭,马 旭,等. 基于CBAM-YOLOv5的煤矿输送带异物检测[J]. 煤炭学报,2022,47(11):4147−4156. HAO Shuai,ZHANG Xu,MA Xu,et al. Foreign object detection in coal mine conveyor belt based on CBAM-YOLOv5[J]. Journal of China Coal Society,2022,47(11):4147−4156.
[8] 蔡秀凡,谢金辰. YOLOv4煤矸石石检测方法研究[J]. 煤炭工程,2022,54(8):157−162. CAI Xiufan,XIE Jinchen. YOLOv4-based detection method of coal and gangue[J]. Coal Engineering,2022,54(8):157−162.
[9] 张 渤,谢金辰,张后斌. 矿井下输送带大块物体检测[J]. 煤炭技术,2021,40(4):154−156 ZHANG Bo,XIE Jinchen,ZHANG Houbin. Detection of large objects in transportation belt undermine[J]. Coal Technology,2021,40(4):154−156.
[10] 吴守鹏,丁恩杰,俞 啸. 基于改进FPN的输送带异物识别方法[J]. 煤矿安全,2019,50(12):127−130. WU Shoupeng,DING Enjie,YU Xiao. Foreign body identification of belt based on improved FPN[J]. Safety in Coal Mines,2019,50(12):127−130.
[11] WANG F Y,ZHANG Z G,LI R F, et al. Coal falling abnormal detection based on image similarity in power plant[A]. 2022 5th International Conference on Energy,Electrical and Power Engineering (CEEPE)[C]. 2022:1087−1090.
[12] 刘普壮. 基于改进YOLO算法的煤矸石识别方法与实验研究[D]. 淮南:安徽理工大学,2022. LIU Puzhuang. Research on coal and gangue recognition method and experiment based on improved YOLO algorithm [D]. Huainan:AnHui University of Science and Technology,2022.
[13] BO J W,ZHANG C T,FAN C L,et al. Ore conveyor belt sundries detection based on improved YOLOv3[J]. Computer Engineering and Applications,2021,57(21):248−255.
[14] 杜京义,陈 瑞,郝 乐,等. 煤矿带式输送机异物检测[J]. 工矿自动化,2021,47(8):77−83. DU Jingyi,CHEN Rui,HAO Le,et al. Coal mine belt conveyor foreign object detection[J]. Journal of Mine Automation,2021,47(8):77−83.
[15] 胡璟皓,高 妍,张红娟,等. 基于深度学习的带式输送机非煤异物识别方法[J]. 工矿自动化,2021,47(6):57−62,90. Hu Jinghao,GAO Yan,ZHANG Hongjuan,et al. Research on the identification method of non-coal foreign object of belt conveyor based on deep learning[J]. Journal of Mine Automation,2021,47(6):57−62,90.
[16] WU L,LYU Y,CHEN L,et al. Detection of lump coal based on lightweight network and attention mechanism[C]//2023 China Automation Congress (CAC),Chongqing,China,2023:5489−5494.
[17] ALEXEY B,WANG C Y,LIAO H Y M. YOLOv4:optimal speed and precision of object detection[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR); Image and Video Processing (eess. IV),2020:2004.10934.
[18] HAN Kai ,WANG Yunhe ,TIAN Qi , et al. Ghost Net:more features from cheap operations[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR),2020 :1580−1589.
[19] WOO S,PARK J,LEE J Y, et al. CBAM:convolutional block attention module[C]//The 15th European Conference,Munich,Germany:Springer 2018,3−19.
[20] 吴利刚,张 梁. 基于轻量化神经网络的石窟壁画破损检测方法[J/OL]. 信息与控制,2023:1−11. https://doi. org/ 10.13976/j. cnki. xk. 2023.2456. WU Ligang,ZHANG Liang. Damage detection method for grotto murals based on lightweight neural Network [J/OL]. Information and Control,2023:1−11.https//doi.org/10.13976/j.cnki.xk.2023.2456.
[21] WU L,ZHANG L,CHEN L,et al. A Lightweight and multisource information fusion method for real-time monitoring of lump coal on mining conveyor belts[J]. International Journal of Intelligent Systems,2023,5327122:1−11 .
[22] 吴利刚,陈 乐,张 梁,等. 基于轻量化与多信息融合的输送带块煤实时监测方法[J/OL]. 控制工程,2023:1-8. https://doi. org/10.14107/ j. cnki. kzgc. 20230434. WU Ligang,CHEN Le. Real time monitoring method of lump coal on conveyor belt based on lightweight and vulti-information Fusion [J/OL]. Control Engineering of China,2023:1-8. https//doi.org/10.14107/j.cnki.kzgc.20230434.
[23] 任志玲,朱彦存. 改进CenterNet算法的煤矿皮带运输异物识别研究[J]. 控制工程,2023,30(4):703−711. REN Zhiling,ZHU Yancun. Research on foreign object detection of coal mine belt transportation with improved CenterNet algorithm[J]. Control Engineering,2023,30(4):703−711.
[24] 谭 恒,张红娟,靳宝全,等. 基于机器视觉的煤矿带式输送机跑偏检测方法[J]. 煤炭技术,2021,40(5):152−156. TAN Heng,ZHANG Hongjuan,JIN Baoquan,et al. Method for detecting deviation of coal mine belt conveyor based on machine vision[J]. Coal Technology,2021,40(5):152−156.
[25] 张旭辉,闫建星,张 超,等. 基于改进YOLOv5s+DeepSORT的煤块行为异常识别[J]. 工矿自动化,2022,48(6):77−86,117. ZHANG Xuhui,YAN Jianxing,ZHANG Chao,et al. Coal block abnormal behavior identification based on improved YOLOv5s + DeepSORT[J]. Journal of Mine Automation,2022,48(6):77−86,117.
-
期刊类型引用(0)
其他类型引用(1)
计量
- 文章访问数: 53
- HTML全文浏览量: 15
- PDF下载量: 18
- 被引次数: 1
