Coal gangue image recognition model based on CSPNet-YOLOv7 target detection algorithm
-
摘要:
煤矸识别技术是矿井智能化建设的关键技术之一，针对工作面低照度高粉尘环境造成的煤矸识别模型精度不高以及小目标煤矸难以识别的问题，提出一种基于CSPNet-YOLOv7目标检测算法的煤矸图像识别模型。采用跨阶段部分网络（Cross Stage Partial Network，CSPNet）改进YOLOv7模型的主干特征提取网络，优化梯度信息减少网络参数，同时采用递归特征金字塔（Recursive Feature Pyramid，RFP）和可切换卷积（Switchable Auto Convolution，SAC）替换颈部特征提取网络中简单的上下采样和普通卷积模块，并采用3次迁移训练进行不同宽度和深度的特征学习，增强网络的泛化能力。试验结果表明，CSPNet-YOLOv7模型的平均精度均值为97.53%，准确率为92.24%，召回率为97.91%，F1得分为0.95，模型的参数量为30.85×106，浮点运算次数为42.15×109，每秒传输帧数为24.37 f/s，与YOLOv7模型相比，平均精度均值提高了7.46%，参数量和浮点运算次数分别降低了17.23%和60.41%，相较于FasterRCNN-Resnet50、YOLOv3、YOLOv4、MobileNet V2 -YOLOv4、YOLOv4-VGG、YOLOv5s模型、CSPNet-YOLOv7模型对煤矸识别的平均精度均值最高，同时参数量和浮点运算次数较小，在识别精度和速度之间有着较好的平衡。最后，通过井下现场试验验证了CSPNet-YOLOv7模型，为煤矸精准识别提供了有效技术手段。
Abstract:The gangue recognition technology is one of the key technologies in the intelligent construction of mines. To address the problem of low accuracy of the gangue recognition model caused by low illumination and high dust environment at the working face and the difficulty of recognizing small target gangue, a coal gangue image recognition model based on CSPNet-YOLOv7 target detection algorithm is proposed. Cross Stage Partial Network (CSPNet) is used to improve the backbone feature extraction network of YOLOv7 model, optimize the gradient information to reduce the network parameters, while Recursive Feature Pyramid (RFP) and Switchable Auto Convolution (SAC) to replace the simple up and down sampling and normal convolution modules in the neck feature extraction network, and to enhance the generalization ability of the network by using three migration training for feature learning of different widths and depths. The experimental results show that the CSPNet-YOLOv7 model has an average accuracy mean of 97.53%, an accuracy rate of 92.24%, a recall rate of 97.91%, an F1 score of 0.95, a model parametric number of 30.85×106, a floating point operation count of 42.15×109, and a frame rate of 24.37 f/s transmitted per second, Compared to the YOLOv7 model, the average mean accuracy is improved by 7.46%, and the number of parameters and floating point operations are reduced by 17.23% and 60.41%, respectively, compared to the FasterRCNN-Resnet50, YOLOv3, YOLOv4, MobileNet V2 -YOLOv4, YOLOv4-VGG, YOLOv5s models. The CSPNet-YOLOv7 model has the highest average accuracy mean for coal gangue identification, while the number of parameters and floating point operations is small, which has a good balance between identification accuracy and speed. Finally, the CSPNet-YOLOv7 model is validated through downhole field tests, providing an effective technical means for accurate coal gangue identification.
-
0. 引 言
矿井智能化建设为煤矿安全高效绿色开采提供了有力的支撑，综采工作面的智能化开采大幅度提升了煤炭产量[1-3]。由于国内煤炭开采地质条件的复杂性，使得原煤中混杂着15%～20%甚至更高比例的矸石，影响煤的品质，增加了后续洗煤和筛煤的成本；同时煤矸混杂燃烧会降低煤的发热量，排放污染环境的有害气体[4-5]。传统煤矸分选主要依靠人工分选和设备分选，人工分选不仅费时费力，分选结果还存在很大不确定性，设备分选又容易造成环境污染[6]，因此煤矸识别将成为煤矿智能化建设的关键支撑。
近年来，国内外专家学者针对煤矸识别已经做出了大量的研究，煤矸识别常用的的方法主要有红外热成像识别、电磁波识别、反射光谱识别、超声波识别、振动信号识别、图像识别等[7]。主动红外热激励实现煤矸识别精度非常高，但是由于主动红外激励识别需要耗费时间对介质进行热激励，并且容易产生安全隐患，因此在工程应用上存在一定的局限性[8]。电磁波探测识别根据电磁波的回波时差、频率等参数差异进行煤矸识别，常用方法有γ射线、探地雷达、太赫兹信号以及电子共振等[9]。反射光谱技术是根据煤矸组成成分的不同，造成反射光谱曲线在相同波段的波形特征不同进而对煤矸进行识别[10]。超声波识别是利用超声波在煤矸介质中传播产的声透射、声反射和回波信号强度存在差异进行识别[11]。振动信号识别通过检测开采过程中采掘机械的振动响应进行煤矸识别，煤层介质的非均匀性会导致产生的振动信号具有随机性，因此实际应用仍有困难[12]。
随着人工智能技术的快速发展，计算视觉领域的目标检测算法为煤矸的精准快速识别提供了技术支撑。基于图像的煤矸识别属于非接触式识别，采煤机截割煤壁后，落煤通过刮板输送机或带式输送机进行运输，通过实时获取输送机上煤矸图像，可以对煤矸进行追踪和识别。张勇等[13]运用数据增强方法对煤矸数据集进行了扩充，通过搭建LeNet，AlexNet、ResNet、VGG、GoogleNet等各种经典神经网络进行消融试验，确定了煤矸分选的最佳神经网络模型。WANG等[14]针对现有模型对多目标识别和遮挡识别的准确率不高的问题，提出采用Transform改进YOLO模型的主干网络，实现了对多种危险品的精准识别。SAMOTHAI等[15]使用YOLO-X目标检测算法对人体骨X射线图像数据集进行学习，实现对骨折位置的识别。徐志强等[16]建立基于深度卷积神经网络（CNN）的煤矸图像识别模型，通过模型剪枝来减少模型复杂度和节约计算资源。雷世威等[17]通过优化损失函数得到改进的YOLOv3模型，实现对低辨识度小目标煤矸的识别。ADIBHATLA等[18]将轻量级YOLOv5模型部署在嵌入式设备中，实现对PCB电路板质量的精准快速识别。张释如等[19]针对小目标煤矸难以识别问题，在原YOLOv5模型的空间金字塔池化模块（SSP）中加入空洞卷积和残差块得到ASPP残差模块，并使用AdaBelief优化算法，提高了模型的识别精度和速度。宋卫虎等[20]提出了一种基于改进U-net网络的煤矸识别模型，通过改进模型采样的过程，来减少特征信息的损失，提高了模型的准确率。郭永存等[21]通过引入空洞卷积和嵌入归一化模块来扩大卷积核的感受野，避免梯度消失问题，提高了煤矸识别模型的特征提取能力和收敛速度。
工作面具有低照度高粉尘的环境特点，目标检测算法对于不清晰的煤矸图像识别准确率不高，并且无法对小目标煤矸进行有效识别[22-23]。YOLOv7是YOLO系列目标检测算法的典型模型，具有更高的检测速度和识别精度，可以对小目标物体进行有效识别。为了解决复杂环境下煤矸准确识别的难题，笔者提出了一种基于改进YOLOv7目标检测算法的煤矸图像识别模型。使用跨阶段部分网络CSPNet改进YOLOv7主干网络，并在颈部特征提取网络中引入递归特征金字塔（RFP）和可切换卷积（SAC），来提高模型的特征抽取能力。采集煤矿井下综采工作面皮带输送机上的煤矸图像，利用数据增强手段提高煤矸数据集的规模，模拟井下复杂环境中煤矸特征的获取。采用迁移学习训练的方法，提取模型在大型数据集上学习到的通用特征，增强模型的特征提取能力和泛化能力。
1. YOLOv7煤矸图像识别模型改进
YOLO是一阶段（one-stage）目标检测算法的最典型代表，具有识别速度快，精度高的特点，被广泛应用于高实时性的目标检测场景之中。YOLOv7模型由输入端（Input）、主干网络（Backbone）、颈部网络（Neck）、头部网络（Head）组成。输入网络将图像缩放到固定尺寸大小，主干网络通过CBS模块、ELAN高效聚合模块、MP模块提取不同层级感受野的特征图，颈部网络使用具有不同最大池化窗口的SPPCSPC模块和E-ELAN扩展高效聚合模块，通过上下采样提取不同感受野的特征图并与主干网络获取的特征图进行聚合，最后头部网络基于重参数化卷积模块（RepConv）进行矩阵特征融合和标签的分配，获取识别目标的位置和类别[24]。
工作面低照度高粉尘的环境特点容易造成煤矸特征相似度高、辨识度低的问题，由于YOLOv7模型主干网络和颈部网络的ELAN模块和MP模块中梯度信息被大量重复使用降低了推理速度，造成较大的计算开销，难以满足井下工作面煤矸识别实时性的要求；算法的特征融合网络采用普通卷积模块，缺乏对不同尺度特征图的深度提取，对于图像背景复杂的小目标煤矸识别效果比较差。为了解决此难题，本文提出了一种基于改进YOLOv7的煤矸图像识别模型。
1.1 YOLOv7模型主干特征提取网络改进
为了实现工作面煤矸实时精准识别，需要降低模型的复杂度，减少运行时的计算开销，本文提出使用CSPNet架构改进YOLOv7模型的主干网络。CSPNet（Cross Stage Partial NetWork）是YOLOv7模型作者WANG等[25]提出的，用以解决卷积神经网络运算中的大量推理计算问题，通过建立跨阶段层次结构实现卷积运算的梯度流在不同的神经网络路径进行传播，减少梯度信息的大量重复利用。试验结果表明，当分割比为0.25时，CSPNet可以使计算量减少11%，同时精度提高0.1%。CSPNet的结构如图1所示。
![]()
图 1 Cross stage partial network结构图Figure 1. Structural drawings of cross stage partial networkCSPNet通过将基础层的特征映射图分割为2部分，一部分特征图传入后续深层卷积神经网络进行特征提取，然后通过Transition模块截断梯度流实现与另一部分特征图的融合。Transition模块是分层特征融合机制，其作用是使梯度组合差异最大化，避免不同网络层学习重复的梯度信息，减少计算量的同时实现丰富的梯度组合。特征融合与Transition模块之间的顺序关系分为2种，如图2所示。WANG等[25]指出采用先融合策略将2部分生成的特征映射直接拼接起来然后进行Transition操作，将会重用大量的梯度信息；而后融合策略梯度流会被Transition截断，梯度信息将不会被大量重用可以减少计算开销，本文将采用后融合的CSPNet改进YOLOv7模型主干网络。
基于CSPNet架构对YOLOv7模型主干网络进行改进，如图3所示，输入图像经过4个CBS模块进行不同尺度的特征提取和通道数的扩张得到基础特征图，将基础特征图进行特征分割得到Seg-one和Seg-two特征图，Seg-one特征图通过ELAN-MP模块进行深层次特征提取后通过Transition模块进行梯度分割最后与Seg-two特征图进行融合，实现跨阶段的拆分和合并。
![]()
图 3 基于CSPNet架构的YOLOv7主干网络改进Figure 3. YOLOv7 backbone network improvement diagram based on CSPNet architecture1.2 递归特征金字塔和可切换卷积模块
YOLOv7模型采用PANet特征融合网络来提取不同层次的特征，但是简单的上下采样并不能将不同分辨率下的图像特征进行有效提取，本文采用递归特征金字塔（Recursive Feature Pyramid，RFP）替换双向融合网络中的上下采样模块，采用可切换自动卷积（Switchable Auto Convolution，SAC）替换普通卷积来深度提取不同尺度的特征并进行充分的特征融合。递归特征金字塔（RFP）[26-27]构建在特征金字塔（FPN）的基础上，通过将反馈连接加入FPN自下而上的网络中，反馈连接可以将学习到的特征再一次带回主干网络的底层进行循环特征学习，进而大大加强网络的性能。可切换自动卷积（SAC）是利用不同的空洞率对输入的特征进行卷积操作，并通过开关函数来控制SAC的输出。SAC可以从一种标准卷积切换到条件卷积，并使用全局上下文信息和权值锁定机制，因此具有比普通卷积更强的特征提取能力[28]。
采用CSPNet架构改进主干网络，同时将颈部特征提取网络中上下采样替换为递归特征金字塔模块以及普通卷积替换为可切换卷积，基于CSPNet-YOLOv7算法的煤矸图像识别模型结构如图4所示。
1.3 模型的多次迁移学习训练
迁移学习已经被证明对模型的训练性能和预测性能有很大的积极作用[29-30]。一方面，通过将模型部署在大型数据集上训练，可以使模型学习更多的通用特征，似乎就像扩大了模型的“视野宽度”一般，可以避免直接在小型数据集训练上导致模型出现过拟合，预测时泛化能力很差的现象。另一方面，在多次迁移训练时通过逐步将模型迁移到自有数据集上即通用大型数据集−通用小型数据集−私有数据集，可以使模型可以学习到更丰富的特征，似乎就像扩大了模型的“视野深度”一般，并且将模型在前一阶段训练学习到的特征权重应用到下一阶段的权重初始化过程，可以避免模型随机初始化权重时带来训练过程不稳定问题。
为了增强煤矸识别模型的泛化能力，利用迁移学习的思想，基于不同数据集采用三次迁移训练保证模型能在不同工作场景下对煤矸进行准确识别，如图5所示。
第1次迁移训练采用公用PASCAL VOC数据集。采用通用数据集进行训练的好处就是可以使模型学习图像通用特征，因为在不同数据集上训练时部分特征是共用的。第2次迁移训练采用实验室自制煤矸数据集，训练的初始权重使用第1次在PASCAL VOC数据集上训练学习到的特征权重，采用两阶段训练策略，第1阶段冻结模型主干网络，对模型输出节点进行训练，这样做可以加快模型的训练速度和保证模型的稳定性。第2阶段，解冻主干网络，使模型学习实验室自制煤矸数据集特征，提高模型的泛化能力。第3次迁移训练采用井下工作面煤矸数据集，将第2次在实验室自制煤矸数据集上迁移训练学习到的特征权重作为模型的初始权重进行训练，模拟井下工作面低照度高粉尘环境下煤矸图像识别场景。
2. 试验分析
2.1 制作煤矸数据集、数据增强方法
本文研究煤矸识别需要3个数据集，分别是PASCAL VOC数据集、实验室自制煤矸数据集、井下工作面煤矸数据集。
PALCAL VOC数据集是公开数据集，共20个类别9 963张标注图片。实验室自制煤矸数据集采样于张双楼煤矿某工作面，通过海康工业相机按照煤和矸石1:1比例采用不同摆放位置、拍照距离、光线强度和组合方式共采集1 000余张图像并通过数据增强方法扩充到8 865张图像。井下工作面煤矸数据集采样于张双楼煤矿某综采工作面，通过海康工业相机在皮带输送机上对煤矸石动态采样，共采集2 300余张图像并通过数据增强方法扩充到9 273张图像。实验室自制煤矸数据集和井下工作面煤矸数据集均使用Labelimg图像标注软件进行标注，按照（训练集+验证集）∶测试集 = 9∶1划分数据集，默认情况下训练集∶验证集 = 9∶1。
为了扩大数据集规模并增强数据集特征，采用数据增强方法对实验室自制煤矸数据集和井下工作面煤矸数据集进行扩充处理。数据增强常用方法有图片尺寸缩放、旋转、像素平移、改变对比度、透视变换、添加噪音，例如高斯噪音和椒盐噪音等。对煤矸图像进行数据增强，如图6所示。
2.2 试验部署环境
所用模型基于Pytorch深度学习框架，试验的软硬件环境为：window 10操作系统、Inter(R)Core(TM) i7-12700H @2.10GHz 20核的CPU、RTX 2080 8G的GPU、Pytorch 1.9.0、Cuda10.2。
2.3 评价指标
本文将从识别精度和速度2方面对煤矸识别模型进行全面评估，采用准确率（Precision）、召回率（Recall）、F1得分（F1 score）、平均精度（Average Precision，AP）和平均精度均值(Mean Average Precision ，mAP)指标作为YOLOv7模型改进前后识别精度的评价指标，采用算法参数量（Params）、浮点运算次数(FLOPs)以及每秒传输帧数（FPS）作为识别YOLOv7模型改进前后参数大小、计算复杂度和识别速度的评价指标，部分评价指标如下：
$$ P_{\mathrm{r}} = \frac{T_{\mathrm{p}}}{T_{\mathrm{p}}+F_{\mathrm{p}}}\times {\text{%}} $$ (1) $$ R_{\mathrm{c}} = \frac{T_{\mathrm{p}}}{T_{\mathrm{p}}+F_{\mathrm{N}}}\times {\text{%}} $$ (2) $$ {\mathrm{AP}} = \int_0^1 {{P_{\mathrm{r}}}} ({R_{\mathrm{c}}}){\text{d}}{R_{\mathrm{c}}} $$ (3) $$ F_1=\frac{2 P_{\mathrm{r}} R_{\mathrm{c}}}{P_{\mathrm{r}}+R_{\mathrm{c}}} \times 100 \% $$ (4) $$ {\mathrm{m A P}}=\frac{\displaystyle\sum_1^N {\mathrm{A P}}}{N} $$ (5) 式中：$ T_{{\mathrm{P}}} $为正样本识别结果是正样本个数；$ F_{{\mathrm{P}}} $为负样本识别结果是正样本个数；$ F_{{\mathrm{N}}} $为正样本识别结果是负样本；N为数据集中类别数，这里N=2即煤和矸石；AP为$ P_{{\mathrm{r}}} $-$ R_{{\mathrm{c}}} $曲线围成的面积。查准率$ P_{{\mathrm{r}}} $、召回率$ R_{{\mathrm{c}}} $、F1得分及平均精度AP可以反映模型对单一类别（煤或矸石）的识别精度，平均精度均值mAP是煤和矸石AP值的算数平均值，可以反映模型对所有类别（煤和矸石）识别的总体精度。
2.4 模型训练与识别结果
采用CSPNet架构改进YOLOv7模型的主干网络，通过数据增强和三次迁移训练增强模型的泛化能力。训练输入图片的大小为640×640，采用两阶段微调训练策略：首先冻结主干特征提取网络，设置冻结训练批量大小为30，训练代数设置为50，初始学习率为0.01，最小学习率为0.000 1，权重衰减为0.000 5，使用sgd优化器和余弦下降学习率；然后解冻主干特征提取网络进行微调，设置解冻训练批量大小为10，训练代数设置为50，优化器、学习率和权重衰减系数等保持不变。模型训练过程的损失值，如图7所示，模型在第71代时达到收敛状态。
CSPNet-YOLOv7和YOLOv7模型煤矸识别的结果如图8所示，数据见表1。
![]()
图 8 CSPNet-YOLOv7和YOLOv7模型煤矸识别评价指标变化曲线Figure 8. CSPNet-YOLOv7 and YOLOv7 model coal and gangue identification evaluation index change curve表 1 CSPNet-YOLOv7和YOLOv7模型煤矸识别结果对比Table 1. Comparison of CSPNet-YOLOv7 and YOLOv7 algorithm coal and gangue identification results识别类别 CSPNet-YOLOv7(Confidence=0.5) YOLOv7(Confidence=0.5) 准确率/% 召回率 /% F1得分 平均精度/% 平均精度
均值/%准确率/% 召回率/% F1得分 平均精度/% 平均精度
均值/%煤 90.69 97.57 0.94 96.93 97.53 89.23 90.27 0.90 92.47 90.07 矸石 93.79 98.25 0.96 98.13 86.87 87.15 0.87 87.66 平均值 92.24 97.91 0.95 97.53 88.05 88.71 0.88 90.07 图8描述了在不同置信度（Confidence）下，CSPNet-YOLOv7和YOLOv7模型识别煤矸的准确率、召回率、F1得分、平均精度的变化情况，可以看出CSPNet-YOLOv7模型对煤矸识别的准确率要大幅度优于YOLOv7模型。在给定置信度confidence＝0.5的条件下，CSPNet-YOLOv7模型识别煤矸的准确率、召回率、F1得分相较于YOLOv7模型分别提高了4.19%、9.2%和0.07，平均精度均值提高了7.46%。表明CSPNet-YOLOv7模型在煤矸数据集上的识别的能力更强，平均精度均值能达到97%以上。
2.5 消融试验
为了验证不同改进策略的性能，采用消融试验进行对比分析，从表2和图9可以看出，YOLOv7模型使用数据增强后识别煤矸的平均精度均值提高了1.17%；采用递归特征金字塔RFP代替上下采样和采用可切换卷积SAC替换普通卷积后，平均精度均值在原YOLOv7模型的基础上提高了2.64%，每秒传输帧数降低了0.84 f/s，参数量增加了1.28×106；使用CSPNet架构改进主干网络后，发现煤矸识别的平均精度均值大幅提升到了94.71%，比基础YOLOv7模型平均精度均值mAP提高了4.64%，同时每秒传输帧数增加了0.81 f/s，参数量降低了7.63 M；当采用CSPNet架构改进主干网络并使用RFP-SAC模块时会发现模型精度得到了进一步的提升，煤矸识别的平均精度均值达到了97.53%，同时每秒传输帧数降低了0.18 f/s，参数量减少了6.42×106。
表 2 基于YOLO v7模型不同改进策略的消融试验Table 2. Ablation experiments based on different improvement strategies of YOLO v7 model组别 模型 平均精度/% 平均精度均值/% 每秒传输帧数/(f·s−1) 参数量/106 煤 矸石 C1 YOLOv7 92.47 87.66 90.07 22.92 37.27 C2 YOLOv7+数据增强 93.56 88.92 91.24 22.92 37.27 C3 YOLOv7+数据增强+RFP-SAC 95.19 90.23 92.71 22.08 38.55 C4 CSPNet-YOLOv7+数据增强 93.64 95.78 94.71 23.73 29.64 C5 CSPNet-YOLOv7+数据增强+RFP-SAC 96.93 98.13 97.53 22.74 30.85 通过消融试验结果可以得出，数据增强可以在一定程度上提高模型识别煤矸的精度，采用RFP-SAC模块代替简单上下采样和普通卷积后，可以较大程度上提高模型识别煤矸的精度和识别速度，但是会增加模型的复杂度。采用CSPNet架构改进YOLOv7模型的主干网络并使用RFP-SAC模块代替简单上下采样和普通卷积后，可以大幅提升模型的识别精度和减少模型的参数量，同时基本不改变模型的识别速度。
2.6 不同煤矸图像识别模型的对比试验
为了客观地评估本文提出的CSPNet-YOLOv7改进模型在煤矸数据集上的识别性能，设计试验与其他经典模型（FasterRCNN-Resnet50、YOLOv3、YOLOv4、MobileNet V2 -YOLOv4、YOLOv4-VGG、YOLOv5s）进行对比分析。所有模型均在同一试验环境下运行，采用相同的煤矸训练集和测试集，试验结果见表3，绘制不同模型对比试验的平均精度均值曲线，如图10所示。
表 3 不同煤矸识别模型性能对比Table 3. Performance comparison of different coal and gangue identification models模型 参数量/106 浮点运算次数/109 每秒传输帧数/(f·s−1) 平均精度均值/% YOLOv3 61.53 65.60 25.93 87.75 FasterRCNN-Resnet50 28.42 120.54 23.66 85.69 MobileNet V2 -YOLOv4 39.06 39.99 20.39 88.94 YOLOv4-VGG 23.94 112.37 25.67 89.37 YOLOv4 64.36 60.53 21.33 90.02 YOLOv5s 47.06 114.48 14.28 92.13 YOLOv7 37.27 106.47 15.49 90.07 CSPNet-YOLOv7(ours) 30.85 42.15 24.37 97.53 ![]()
图 10 不同模型对比试验的平均精度均值曲线Figure 10. mAP curves for different model comparison experiments通过对比试验可知，CSPNet-YOLOv7模型的参数量相较于YOLOv3、YOLOv4、YOLOv5s、YOLOv7、MobileNet v2-YOLOv4大幅度减小，略高于FasterRCNN-Resnet50和YOLOv4-VGG，浮点运算次数仅仅高于MobileNet v2-YOLOv4，远远低于FasterRCNN-Resnet50、YOLOv4-VGG、YOLOv5s、YOLOv7，模型处理图像的每秒传输帧数也位居前列，要明显高于YOLOv5s和YOLOv7，略低于YOLOv3和YOLOv4-VGG。CSPNet-YOLOv7模型相对于其他7个模型，取得了最高的识别精度，达到了97.53%。综合对比试验的结果可以得出：本文提出的CSPNet-YOLOv7模型在煤矸识别的精度和速度之间取得较好的平衡，能够实现对煤矸的实时准确识别。
不同模型在煤矸测试集上的识别结果如图11所示。从识别结果来看，CSPNet-YOLOv7模型能精准地对煤矸进行分类识别与位置检测，而其他模型均有不同程度的漏检；从识别精度来看，CSPNet-YOLOv7模型识别煤矸的置信度水平在所有对比模型中最高。
![]()
图 11 不同模型的煤矸识别结果Figure 11. Coal and gangue identification results from different models3. 井下现场应用效果
为了验证本文提出的CSPNet-YOLOv7模型在工作面实际应用的可行性，从江苏徐州张双楼煤矿某综采工作面的带式输送机上采集2 300张煤矸石图像并通过数据增强方法进行扩充，最终形成包含9 273张煤矸图像的数据集，并按照9∶1的比例划分为训练集和测试集。从测试集中随机选择3张煤矸图像进行识别，识别结果如图12所示，红色矩形框标注的是煤块，蓝色矩形框标注的是矸石，通过热力图对煤矸位置进行渲染，可见CSPNet-YOLOv7模型拥有很好的全局感受能力，能准确识别煤矸特征并进行位置和置信度水平的标注。
![]()
图 12 工作面皮带输送机上煤矸石图像识别结果Figure 12. Image recognition results for coal and gangue on belt conveyor at working face4. 结 论
1）工作面低照度高粉尘的环境特点容易造成煤矸特征相似度高、辨识度低，为快速准确识别煤矸，创新提出了一种基于CSPNet-YOLOv7目标检测算法的煤矸图像识别模型，煤矸数据集平均识别精度均值达97.53%，比YOLOv7提高了7.46%，模型参数量为30.85×106，每秒传输帧数为24.37 f/s。
2）采用跨阶段部分网络CSPNet改进YOLOv7模型的主干网络，同时将递归特征金字塔RFP和可切换卷积SAC代替颈部特征提取网络中简单的上下采样和普通卷积模块，改进后的CSPNet-YOLOv7模型的参数量和浮点运算次数相较于YOLOv7降低了17.23%和60.41%，显著提升了模型的煤矸识别速度。
3）现场试验结果表明，CSPNet-YOLOv7模型精准高效地识别了综采工作面带式输送机上的煤矸，验证了模型应用的可行性，为井下复杂条件煤矸精准识别提供了有效技术手段。
-
![]()
图 1 Cross stage partial network结构图
Figure 1. Structural drawings of cross stage partial network
![]()
图 3 基于CSPNet架构的YOLOv7主干网络改进
Figure 3. YOLOv7 backbone network improvement diagram based on CSPNet architecture
![]()
图 8 CSPNet-YOLOv7和YOLOv7模型煤矸识别评价指标变化曲线
Figure 8. CSPNet-YOLOv7 and YOLOv7 model coal and gangue identification evaluation index change curve
![]()
图 10 不同模型对比试验的平均精度均值曲线
Figure 10. mAP curves for different model comparison experiments
![]()
图 11 不同模型的煤矸识别结果
Figure 11. Coal and gangue identification results from different models
![]()
图 12 工作面皮带输送机上煤矸石图像识别结果
Figure 12. Image recognition results for coal and gangue on belt conveyor at working face
表 1 CSPNet-YOLOv7和YOLOv7模型煤矸识别结果对比
Table 1 Comparison of CSPNet-YOLOv7 and YOLOv7 algorithm coal and gangue identification results
识别类别 CSPNet-YOLOv7(Confidence=0.5) YOLOv7(Confidence=0.5) 准确率/% 召回率 /% F1得分 平均精度/% 平均精度
均值/%准确率/% 召回率/% F1得分 平均精度/% 平均精度
均值/%煤 90.69 97.57 0.94 96.93 97.53 89.23 90.27 0.90 92.47 90.07 矸石 93.79 98.25 0.96 98.13 86.87 87.15 0.87 87.66 平均值 92.24 97.91 0.95 97.53 88.05 88.71 0.88 90.07 
下载: 导出CSV
表 2 基于YOLO v7模型不同改进策略的消融试验
Table 2 Ablation experiments based on different improvement strategies of YOLO v7 model
组别 模型 平均精度/% 平均精度均值/% 每秒传输帧数/(f·s−1) 参数量/106 煤 矸石 C1 YOLOv7 92.47 87.66 90.07 22.92 37.27 C2 YOLOv7+数据增强 93.56 88.92 91.24 22.92 37.27 C3 YOLOv7+数据增强+RFP-SAC 95.19 90.23 92.71 22.08 38.55 C4 CSPNet-YOLOv7+数据增强 93.64 95.78 94.71 23.73 29.64 C5 CSPNet-YOLOv7+数据增强+RFP-SAC 96.93 98.13 97.53 22.74 30.85
下载: 导出CSV
表 3 不同煤矸识别模型性能对比
Table 3 Performance comparison of different coal and gangue identification models
模型 参数量/106 浮点运算次数/109 每秒传输帧数/(f·s−1) 平均精度均值/% YOLOv3 61.53 65.60 25.93 87.75 FasterRCNN-Resnet50 28.42 120.54 23.66 85.69 MobileNet V2 -YOLOv4 39.06 39.99 20.39 88.94 YOLOv4-VGG 23.94 112.37 25.67 89.37 YOLOv4 64.36 60.53 21.33 90.02 YOLOv5s 47.06 114.48 14.28 92.13 YOLOv7 37.27 106.47 15.49 90.07 CSPNet-YOLOv7(ours) 30.85 42.15 24.37 97.53
下载: 导出CSV
-
[1] 葛世荣,王世博,管增伦,等. 数字孪生−应对智能化综采工作面技术挑战[J]. 工矿自动化,2022,48(7):1−12. GE Shirong,WANG Shibo,GUAN Zenglun,et al. Digital twin:meeting the technical challenges of intelligent fully mechanized working face[J]. Journal of Mine Automation,2022,48(7):1−12.
[2] 王国法. 煤矿智能化最新技术进展与问题探讨[J]. 煤炭科学技术,2022,50(1):1−27. WANG Guofa. New technological progress of coal mine intelligence and its problems[J]. Coal Science and Technology,2022,50(1):1−27.
[3] 王国法,杜毅博,任怀伟,等. 智能化煤矿顶层设计研究与实践[J]. 煤炭学报,2020,45(6):1909−1924. WANG Guofa,DU Yibo,REN Huaiwei,et al. Top level design and practice of smart coal mines[J]. Journal of China Coal Society,2020,45(6):1909−1924.
[4] 崔亚仲,任艳艳,白明亮. 神东矿区煤炭智能化建设实践[J]. 煤炭科学技术,2022,50(S1):218−226. CUI Yazhong,REN Yanyan,BAI Mingliang. Practice of intelligent construction of shendong coal mine[J]. Coal Science and Technology,2022,50(S1):218−226.
[5] 王玉涛. 煤矸石固废无害化处置与资源化综合利用现状与展望[J]. 煤田地质与勘探,2022,50(10):54−66. WANG Yutao. Status and prospect of harmless disposal and resource comprehensive utilization of solid waste of coal gangue[J]. Coal Geology & Exploration,2022,50(10):54−66.
[6] 李小萌,赵巧蓉. 基于图像处理的煤矸识别技术研究进展及方向[J]. 现代矿业,2021,37(11):200−203. LI Xiaomeng,ZHAO Qiaorong. Research progress and development trend of coal gangue identification technology based on image processing[J]. Modern Mining,2021,37(11):200−203.
[7] 田妍,田丰. 放顶煤开采过程煤矸识别技术发展现状及前景[J]. 煤炭工程,2018,50(10):142−145. TIAN Yan,TIAN Feng. Development status and prospect of coal gangue recognition technology in top-coal caving[J]. Coal Engineering,2018,50(10):142−145.
[8] 张强,张润鑫,刘峻铭,等. 煤矿智能化开采煤岩识别技术综述[J]. 煤炭科学技术,2022,50(2):1−26. ZHANG Qiang,ZHANG Runxin,LIU Junming,et al. Review on coal and rock identification technology for intelligent mining in coal mines[J]. Coal Science and Technology,2022,50(2):1−26.
[9] 王昕. 基于电磁波技术的煤岩识别方法研究[D]. 徐州:中国矿业大学,2017. WANG Xin. Study of coal rock identification method based on electromagnetic wave technology[D]. Xuzhou:China University of Mining and Technology,2017.
[10] 韦任. 基于煤岩反射光谱的识别技术研究[D]. 淮南:安徽理工大学,2021. WEI Ren. Research on recognition technology based on reflection spectrum of coal and rock[D]. Huainan:Anhui University of Science and Technology,2021.
[11] 李力,刘佳鹏,魏伟. 基于经验小波变换的煤岩界面识别超声回波处理方法研究[J]. 煤炭学报,2019,44(S1):370−377. LI Li,LIU Jiapeng,WEI Wei. Signal processing method on ultrasonic echo from coal-rock interface based on EWT[J]. Journal of China Coal Society,2019,44(S1):370−377.
[12] 王海舰. 煤岩界面多信息融合识别理论与实验研究[D]. 阜新:辽宁工程技术大学,2017. WANG Haijian. Theoretical and experimental study on coal-rock interface identification based on multi information fusion[D]. Fuxin:Liaoning Technical University,2017.
[13] 张勇,杨鹏,王亮,等. 基于经典卷积神经网络的智能煤矸识别[J]. 邵阳学院学报(自然科学版),2021,18(1):34−44. ZHANG Yong,YANG Peng,WANG Liang,et al. Intelligent coal gangue identification based on classical convolutional neural network[J]. Journal of Shaoyang University (Natural Science Edition),2021,18(1):34−44.
[14] WANG Mingxun,YANG Baolu,WANG Xin,et al. YOLO-T:Multitarget intelligent recognition method for X-ray images based on the YOLO and transformer Models[J]. Applied Sciences,2022,12(22):11848. doi: 10.3390/app122211848
[15] SAMOTHAI P,SANGUANSAT P,KHEAKSONG A,et al. The evaluation of bone fracture detection of YOLO series[A]. International Technical Conference on Circuits/Systems,Computers and Communications (ITC-CSCC)[C]. Phuket,Thailand,2022:1054-1057.
[16] 徐志强,吕子奇,王卫东,等. 煤矸智能分选的机器视觉识别方法与优化[J]. 煤炭学报,2020,45(6):2207−2216. XU Zhiqiang,LYU Ziqi,WANG Weidong,et al. Machine vision recognition method and optimization for intelligent separation of coal and gangue[J]. Journal of China Coal Society,2020,45(6):2207−2216.
[17] 雷世威,肖兴美,张明. 基于改进YOLOv3的煤矸识别方法研究[J]. 矿业安全与环保,2021,48(3):50−55. LEI Shiwei,XIAO Xingmei,ZHANG Ming. Research on coal and gangue identification method based on improved YOLOv3[J]. Mining Safety & Environmental Protection,2021,48(3):50−55.
[18] ADIBHATLA V A ,CHIH H C,HSU C C,et al. Applying deep learning to defect detection in printed circuit boards via a newest model of you-only-look-once[J]. Mathematical Biosciences and Engineering,2021,18(4):4411−4428.
[19] 张释如,黄综浏,张袁浩,等. 基于改进YOLOv5的煤矸识别研究[J]. 工矿自动化,2022,48(11):39−44. ZHANG Shiru,HUANG Zongliu,ZHANG Yuanhao,et al. Coal and gangue recognition research based on improved YOLOv5[J]. Journal of Mine Automation,2022,48(11):39−44.
[20] 宋卫虎,郎利影,张步勤,等. 基于改进U-net网络模型的煤矸识别方法[J]. 智能矿山,2021,2(3):63−68. SONG Weihu,LANG Liying,ZHANG Buqin,et al. A coal gangue identification method based on improved U-net network model[J]. Journal of Intelligent Mine,2021,2(3):63−68.
[21] 郭永存,张勇,李飞. 嵌入空洞卷积和批归一化模块的智能煤矸识别算法[J]. 矿业安全与环保,2022,49(3):45−50. GUO Yongcun,ZHANG Yong,LI Fei,et al. Intelligent coal and gangue identification algorithm embedded in dilated convolution and batch normalization module[J]. Mining Safety & Environmental Protection,2022,49(3):45−50.
[22] 雷孟宇,张旭辉,杨文娟,等. 煤矿掘进装备视觉位姿识别与控制研究现状与趋势[J]. 煤炭学报,2021,46(S2):1135−1148. LEI Mengyu,ZHANG Xuhui,YANG Wenjuan,et al. Current status and trend of research on visual pose detection and control of heading equipment in coal mines[J]. Journal of China Coal Society,2021,46(S2):1135−1148.
[23] 李晨鑫,张立亚. 煤矿井下网联式自动驾驶技术研究[J]. 工矿自动化,2022,48(6):49−55. LI Chenxin,ZHANG Liya. Research on the network connected automatic driving technology in underground coal mine[J]. Journal of Mine Automation,2022,48(6):49−55.
[24] WANG C Y,BOCHKOVSKIY A,LIAO H. YOLOv7:Trainable bag-of-freebies sets new state-of-the-art for real-time object detectors[A]. IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)[C],Vancouver,BC,Canada,2023:7464−7475.
[25] WANG C Y,LIAO H,WU Y H,et al. CSPNet:A new backbone that can enhance learning capability of CNN[A]. IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW)[C],Seattle,WA,USA,2020:1571−1580.
[26] QIAO S,CHEN L C,YUILLE A. DetectoRS:Detecting objects with recursive feature pyramid and switchable atrous convolution[A]. IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)[C],Nashville,TN,USA,2021:10208−10219.
[27] ZHOU Wujie,GUO Qinling,LEI Jingsheng,et al. IRFR-Net:Interactive recursive feature-reshaping network for detecting salient objects in RGB-D images[J]. IEEE Transactions on Neural Networks and Learning Systems,2021,11(3):2162−2388.
[28] LAI Weisheng,HUANG Jiabin,AHUJA Narendra,et al. Fast and accurate image super-resolution with deep laplacian pyramid networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2019,41(11):2599−2613. doi: 10.1109/TPAMI.2018.2865304
[29] PAN S J,QIANG Y. A Survey on transfer learning[J]. IEEE Transactions on Knowledge and Data Engineering,2010,22(10):1345−1359. doi: 10.1109/TKDE.2009.191
[30] SHIN H C,ROTH H R,GAO M,et al. Deep convolutional neural networks for computer-aided detection:CNN architectures,dataset characteristics and transfer learning[J]. IEEE Transactions on Medical Imaging,2016,35(5):1285−1298. doi: 10.1109/TMI.2016.2528162
-
期刊类型引用(2)
1. 李立宝，袁永，秦正寒，李波，闫政天，李勇. 图像特征与振动频谱多源融合驱动的煤矸识别技术研究. 工矿自动化. 2024(11): 43-51 . 
百度学术
2. 李珍峰，符世琛，徐乐，孟博，张昕，秦建军. 基于MBI-YOLOv8的煤矸石目标检测算法研究. 图学学报. 2024(06): 1301-1312 . 百度学术
其他类型引用(3)
计量
- 文章访问数: 70
- HTML全文浏览量: 7
- PDF下载量: 45
- 被引次数: 5
