Optimization and simulation of adaptive mining cutting path in complex undulating coal seam
-
摘要:
采煤机自适应煤层起伏变化自主规划截割是实现煤矿智能无人开采的关键问题之一。然而，现有采煤机截割规划对复杂地质条件变化的自适应性相对薄弱。针对煤层分布信息特征考虑不全和缺乏适用于不同起伏条件的综采工作面采煤机截割路径规划模型以及连续规划精度差等问题，提出一种基于煤层起伏信息与采煤机滚筒高度预测的复杂起伏煤层自适应开采截割路径优化模型。首先，基于粒子群优化最小二乘支持向量机建立采煤机滚筒高度时间序列预测模型，实现采煤机滚筒高度精准超前预测。然后，分别构建以采煤机上下滚筒截割线与煤层上下分界线偏离最小为优化目标的近水平条件、俯斜开采条件和仰斜开采条件下的综采工作面自适应截割路径规划优化模型，利用多约束优化算法求解最优路径，从而实现适用于多种开采条件下的综采工作面自适应截割路径规划。通过数据仿真验证，采煤机滚筒截割高度预测精度达到84.11%以上，优化截割路径与模拟煤层分界线平均绝对百分比误差最大为3.13，所提方法能够在实现采煤机滚筒截割轨迹高精度预测的基础上完成复杂条件综采工作面的自适应截割路径连续规划，为复杂起伏变化工作面采煤机截割路径自适应规划应用提供参考。
Abstract:Adaptive cutting planning of shearer based on the fluctuation of coal seam is one of the key problems to realize intelligent unmanned mining in coal mine. However, the adaptability of existing shearer cutting planning scheme considering the changes of complex geological conditions is relatively weak. Aiming at the problems of incomplete consideration of coal seam distribution information characteristics, lack of appropriate shearer cutting path planning model for different undulating conditions and poor continuous planning accuracy in fully mechanized coal mining faces, an adaptive cutting path optimization model for complex undulating coal seams is proposed. Firstly, the time series prediction model of shearer drum height is established based on particle swarm optimization least squares support vector machine, which can realize accurate and advanced prediction of shearer drum height. Then, the optimization models of adaptive cutting path planning for fully mechanized working face under near horizontal conditions and inclined mining conditions are constructed respectively, with the objective of minimizing the deviation between the cutting lines of shearers and the boundary lines of coal seams. Finally, the optimal path is solved by multi-constraint optimization algorithm to realize the comprehensive mining working face adaptive cutting path planning for various mining conditions. Through data simulation, the accuracy of shearer drum cutting height prediction model is above 84.11%, and the maximum average absolute percentage error between the optimized cutting path and the simulated coal seam boundary is 3.13. The proposed method can achieve high-precision prediction of the cutting trajectory of the shearer drum and achieve continuous adaptive cutting path planning for complex conditions in fully mechanized mining faces, providing a reference for the application of adaptive cutting path planning for shearers in complex undulating working faces.
-
Keywords:
- intelligent mining /
- complex conditions /
- shearer /
- cutting path /
- adaptable planning
-
0. 引 言
煤矿智能化建设是实现煤矿安全高效绿色开采的必由之路[1]，采煤机、掘进机作为煤矿采掘工作面的核心设备，其智能化水平直接影响煤炭的安全生产和开采效率[2]。其中，在综采工作面自动判断当前采煤面的煤岩分布状态是采煤机可以自适应调节滚筒高度和牵引速度实现智能截割的重要前提，在掘进工作面快速精准识别煤岩与顶底板界面是保证掘进机自适应截割智能高效掘进的关键条件[3-4]。然而，煤矿井下地质状况复杂多变，煤岩层特征具有相似性不易区分，如何准确识别追踪截割煤壁的煤层分布界面是煤炭开采领域内公认的关键技术难题，也是制约煤矿智能化发展水平的一大技术瓶颈。
近年来，随着煤矿智能化发展的不断推进，国内外学者针对煤岩界面识别方法进行了大量深入的研究[5-6]。其中，大部分研究都是基于采掘过程中截齿受到不同的截割力响应，在振动、电流、温度等信号上表现出不同的力学特征来判断所截割的介质种类，进而确定煤岩分布情况[7-8]。但是此类接触式识别方法，只有当截割到岩层时才可以获得差异反馈信号，而且容易受到地质条件和传感器性能的局限影响，导致煤岩分布判断不准确。随着机器视觉图像识别领域的发展，基于图像的煤岩识别技术成为解决煤岩识别问题的另一个重要研究方向[9-11]，图像识别属于非接触式识别，通过实时获取当前截割煤壁图像信息对煤岩层分布界面进行识别预判，可以自动追踪煤岩界面，为采掘设备提供调控依据。孙继平等[12]分析了煤岩图像纹理特点，并基于二进制十字对角纹理矩阵实现了煤岩图像特征提取与分类识别。伍云霞等[13-14]分别研究了基于字典学习和最大池化稀疏编码的煤岩图像特征提取与识别技术。张婷[15]借助图像处理技术，提出了基于变换域与高斯混合模型聚类的煤岩识别方法。张斌等[16]将深度学习目标检测算法YOLOv2与线性成像模型相结合,对井下采集煤岩图像进行了智能识别与定位。司垒等[17]提出了一种基于改进U-net网络模型的煤岩图像识别方法，并在实验室和井下现场进行了试验。高峰等[18]提出了一种基于塔式池化架构和卷积神经网络技术的煤岩图像分割识别网络模型，测试结果取得了良好的煤岩识别效果。从以上研究可以看出，煤岩图像识别研究已取得一些阶段性成果，但是当前应用于煤岩界面图像识别的算法模型体积较大，计算量过于冗余，难以达到实时性检测要求，而且考虑到实际煤矿井下采掘工作面的多变环境，在复杂夹矸煤岩层识别困难以及针对不同场景下的算法实际适用性和准确性低等问题应对上仍存在众多挑战。
为进一步改善针对煤矿井下基于机器视觉实现煤岩界面图像自动识别的模型精度、效率和泛化性等问题，笔者重点研究了DeeplabV3+语义分割网络模型，并提出一种基于改进DeeplabV3+和迁移学习的煤岩界面图像识别模型，使用轻量化MobileNetV2替代骨干网络，并在模型有效特征层中引入卷积注意力机制模块（Convolutional Block Attention Module，CBAM），在提升模型运行效率的同时增强特征提取能力，并采用迁移学习训练方法，降低小样本训练对网络性能的影响，增强算法泛化性。最后采用实验室模拟和井下现场试验对煤岩图像进行语义分割，以期研究成果可为攻关煤岩识别技术提供新的思路。
1. 基于改进DeeplabV3+的煤岩界面图像分割网络模型设计
1.1 DeeplabV3+网络模型改进
DeeplabV3+网络模型在图像语义分割领域表现出良好的处理性能和分割精度。DeeplabV3+网络结构[19]如图1所示，主要包括编码器（Encoder）和解码器（Decoder）2部分。在Encoder结构中，首先采用Xception网络作为骨干网络（Backbone）对输入图像进行特征提取，得到的特征图像分别传送到空洞空间卷积池化金字塔（Atrous Spatial Pyramid Pooling，ASPP）和Decoder结构。ASPP结构采用不同空洞率的空洞卷积层获得输入特征图的多尺度信息并拼接融合，得到图像的高层语义特征，然后使用1×1的卷积调整输出通道数。在Decoder结构中，对Encoder结构输出的高层语义特征进行4倍上采样，将分辨率恢复到原图的1/4，并对Backbone网络输出的低层特征经过1×1卷积调整通道数，与高层语义特征图进行特征融合。之后对融合特征图进行3×3卷积特征压缩和4倍上采样后获得和原图相同大小的语义分割预测结果。
基于机器视觉实现煤岩界面图像识别，可以通过语义分割算法识别得到采集图像的煤岩分布情况并用不同颜色标注，进而实现煤岩界面精准识辨。然而在实际煤岩图像识别任务中，一方面，采集煤岩图像时，主要仅涉及煤、岩及背景3个目标，应更加注重对较大范围目标的识别准确性；另一方面，限于在井下低照度高粉尘等复杂条件，煤岩局部细节特征难以区分。此外，煤岩层混合样本获取较为困难，样本过少会影响模型训练效果。因此，为增强全局信息和煤岩边缘等细节特征的感知，并避免数据集不足对模型性能的影响。笔者从以下方面对DeeplabV3+网络模型进行改进优化：
1）在Encoder结构中，Backbone采用轻量化模块MobileNetV2实现特征提取，减少网络训练参数，提高模型检测速度。
2）引入CBAM注意力机制模块，分别添加在Backbone和Decoder网络有效特征层中，增强模型特征提取准确性，确保不同层级的特征有效融合，提升模型分割精度。
3）采用迁移学习模型训练方法，降低小样本对网络性能的影响，强化模型训练效果，提高模型泛化性，以适用于井下工作面不同场景的识别任务。
改进后的DeeplabV3+网络模型结构如图2所示。
1.2 DeeplabV3+骨干网络结构改进
针对井下现场采掘设备对煤岩识别任务的实际需求，对煤岩分布识别的精准度和实时性均有着较高要求。因此，通过算法进行图像特征提取时要尽量保证全局信息的识别准确性，同时没有冗余的参数和计算量，保证识别效率。对经典DeeplabV3+网络结构进行轻量化改进，骨干网络以剪枝的MobileNetV2网络代替Xception网络。整个MobileNetV2网络[20]主要基于倒残差结构（Inverted Residual Block）组成，可实现更快的训练和更高的准确性，而且模型结构易移植，易优化。倒残差结构如图3所示，包括2部分：左侧是主干部分，首先利用1×1卷积升维，然后利用3×3深度可分离卷积（Depthwise Separable Convolution）进行跨特征点特征提取，再利用1×1卷积降维；右侧是残差部分，输入和输出直接相连。
其中，深度可分离卷积采用不同的卷积核对不同的输入通道进行卷积操作，实现空间和通道分离，具体可分2步操作：第1步利用深度卷积与输入特征的每一个通道分别进行卷积操作；第2步利用1×1逐点卷积对上步得到的不同深度卷积的输出进行组合。设输入特征图大小为DF×DF×M，输出特征图大小为DF×DF×N，卷积核大小为DK×DK，则常规卷积计算量为DK×DK×M×N×DF×DF，深度可分离卷积计算量为DK×DK×M×DF×DF+ M×N×DF×DF。因此深度可分离卷积的计算量是常规卷积的1/N+1/（DK·DK）倍，极大减少了网络模型的计算量和内存大小，提高了运行速度。另外，倒残差网络的升维和特征提取部分使用Relu6激活函数，将Relu激活函数限幅至最大输出为6，在减少模型参数的同时提高了数值分辨率，增强了模型稳定性和泛化性。
在DeeplabV3+网络模型中，MobileNetV2网络作为骨干网络目的是要实现特征提取及多特征层融合，因此对MobileNetV2网络进行剪枝，舍弃最后用于实现分类的3层结构，并修改原网络参数只进行4次下采样，保证图像分辨率和分割精度。以512×512×3图像作为输入，剪枝后的MobileNetV2 网络结构见表1。表1中，Operator表示不同网络模块层；t表示升维倍数；c表示输出数；n表示该层模块使用次数；s表示卷积步长，Output 表示每个模块输出特征图尺寸，即下一模块的输入层。
表 1 剪枝后的MobileNetV2网络结构Table 1. Mobilenetv2 network structure after pruningOperator t c n s Output Conv2d 3×3 — 32 1 2 256×256×32 Bottleneck 1 16 1 1 256×256×16 Bottleneck 6 24 2 2 128×128×24 Bottleneck 6 32 3 2 64×64×32 Bottleneck 6 64 4 2 32×32×64 Bottleneck 6 96 3 1 32×32×96 Bottleneck 6 160 3 1 32×32×160 Bottleneck 6 320 1 1 32×32×320 1.3 引入CBAM模块
为增强图像全局信息和煤岩边缘等细节特征的感知，在模型结构中引入注意力机制模块CBAM[21]。其中，骨干网络MobileNetV2的倒残差结构对模块的输入和输出特征直接相加，没有对各特征通道加以权重区分，会使得与识别目标无关的特征也继续传递，造成特征信息提取不准确。因此笔者在原有MobileNetV2网络倒残差结构中引入CBAM模块（图4）。通过为各特征通道添加权重信息，充分利用特征图的通道信息和空间信息，在获得整体特征的基础上重点关注煤岩边界区域的显著性特征，抑制无用特征的传递，增强网络表征能力。
另外，在DeeplabV3+模型的Decoder结构中，直接将Encoder网络输出的高层特征4倍上采样与低层特征相融合。高层特征分辨率较低，但其具有丰富的语义信息，而低层特征语义层级较低，却包含着准确的空间信息。因此，如果直接对不同层级不同分辨率的特征信息进行融合，会造成特征信息难以对齐。因此，笔者在Decoder结构中引入CBAM注意力模块，如图5所示。利用高层特征作指导对低层特征进行加权，将上采样后的高层特征经过CBAM模块后获得加权向量，然后与低层特征相乘获得低层加权特征，最终与高层特征拼接输出，实现不同层级特征融合并突出重点特征。为保证融合特征有效传递，在融合特征4倍上采样恢复图像大小后，再次经过一个CBAM注意力模块，增强网络鲁棒性。以上采用的CBAM模块是一种结合了空间和通道信息的轻量级注意力机制模块，可集成到任意卷积神经网络结构中，获得更全面可靠的注意力信息，提高模型表征能力。CBAM模块包括通道注意力模块（Channel Attention Module，CAM）和空间注意力模块（Spatial Attention Module，SAM）2部分。
![]()
图 5 引入注意力机制模块的Decoder结构Figure 5. Decoder structure with convolutional block attention module通道注意力模块CAM结构如图6所示，首先将输入大小为H×W×C特征图F分别经过平均池化和最大池化聚合特征空间信息，得到1×1×C特征图输入两层共享感知机网络（MLP），然后逐元素求和并经过sigmoid激活函数得到通道注意力特征权重MC，最后与原输入特征图相乘得到通道注意力机制特征图FC。
空间注意力模块SAM结构如图7所示，将CAM模块输出特征图FC作为输入特征，特征图大小为H×W×C，经过基于通道的最大池化和平均池化得到2个H×W×1的特征图，基于通道进行拼接，然后经过一个7×7卷积操作，降维至H×W×1，再经过sigmoid激活生成空间注意力特征权重MS，最后和输入特征图相乘得到最终空间注意力机制特征图FS。
1.4 迁移学习训练方法
为解决煤岩识别网络模型针对不同工作面场景的算法适用性问题，采用迁移学习方法，保证在实验室自制数据集模拟训练的煤岩识别模型可以稳定迁移到实际井下现场工作面。文中共采用2次迁移学习，如图8所示。
第1次实验室场景下迁移学习训练过程如下：第1阶段，在源域公开数据集PASCAL VOC上学习训练获得模型预训练参数；第2阶段，冻结DeeplabV3+模型骨干特征提取网络，在目标域自制煤岩数据集上进行训练，对预训练的模型参数进行微调，加快模型在实际任务中的训练速度并保证特征提取效果和模型稳定性；第3阶段，解冻骨干网络，在目标数据集上再次训练，调整特征提取网络参数，保证迁移效果，提高模型准确性和泛化性。
第2次应用于井下工作面场景下迁移学习训练，过程同上述步骤，不同的是将实验室训练的模型和参数作为基础网络，然后在综采工作面数据集上训练，对模型特征参数重新调整，实现煤岩识别模型迁移使用到实际现场应用场景。
2. 实验室模拟试验
2.1 数据集建立与预处理
试验模拟训练共需要2种数据集，一种是源域PASCAL VOC公开数据集，可从网络下载获取；一种是目标域煤岩数据集，通过模拟煤岩层分布状态自制而成，煤岩试样如图9所示。
煤岩试样以煤、石灰岩、泥岩和粉砂岩为原料，按照不同煤岩占比、不同煤岩分布状态配制浇筑至模具制成。通过海康工业相机（MV-CA050-20UC）采集煤岩复合样本图像，并统一裁剪为512×512像素，使用图像数据标注工具Lableme按照背景、煤和岩3个标签类别对数据集进行标注，形成煤岩图像分割数据集，共2 180张图像，并按照9∶1比例划分形成训练集和验证集。
2.2 试验环境及参数设置
本试验模型基于Pytorch 深度学习框架搭建，在GPU环境下进行训练测试，具体试验环境配置见表2。综合考虑硬件及模型性能，并经过多次试验，试验训练设置如下：使用交叉熵损失函数，采用随机梯度下降（Stochastic Gradient Descent，SGD）算法优化网络模型，动量参数（momentum）设置为0.9，训练周期为100，批处理大小为8，初始学习率为0.000 1。模型性能采用准确度（Accuracy）、平均交并比（Mean Intersection over Union，MIoU）推理时间（Inference time）及模型所占内存等作为评估指标。
表 2 试验环境配置Table 2. Experimental environment configuration试验
环境名称 参数 硬件 CPU Intel Core i9-11950 内存 128 G GPU NVIDIA GeForce RTX A3000 显存 6 G 操作系统 Windows10 软件 深度学习框架 Pytorch1.7.1 CUDA 11.0 编程语言 Python3.7 2.3 试验结果及对比分析
2.3.1 MobileNetV2模块性能验证
在DeeplabV3+网络模型结构中，分别采用MobilenetV2、Xception、ResNet101作为Backbone网络在验证数据集上进行消融试验。采用平均交并比MIoU和推理时间作为评价指标衡量模型的精度和处理速度，比较结果如图10所示。可以看出，以MobilenetV2作为Backbone时，DeeplabV3+模型的推理时间和运行速度是最快的，而且分割准确率也仅略低于采用ResNet-101的模型结构。因此，综合衡量模型精度和处理速度，采用MobilenetV2作为骨干网络的DeeplabV3+模型性能最优。
![]()
图 10 不同Backbone网络的DeeplabV3+模型性能对比Figure 10. Performance comparison of DeeplabV3+ models with different backbone2.3.2 CBAM模块性能验证
为验证CBAM注意力模块对模型性能的影响，随机从验证集挑选煤岩图像，并在DeeplabV3+的Backbone网络和Decoder网络结构中分别引入CBAM模块与单路通道注意力机制模块(Squeeze and Excitation，SENet)进行消融试验，图像特征提取结果如图11所示。由图11可以看出，未引入CBAM模块的特征提取效果最差，不仅没有很好地区分煤岩目标与背景区域，而且煤岩分布边界较为模糊，细节特征提取不明显；在Backbone网络添加CBAM模块后，特征提取结果明显提升，降低了背景区域的干扰，更关注于煤岩分布的特征信息；在Decoder网络中引入CBAM模块，煤岩分布边界细节特征更为清晰；在Backbone和Decoder网络中均添加CBAM模块或SENet模块，与单通道注意力SENet模块相比，CBAM模块基于通道和空间双通道注意力，不仅降低了背景的影响，而且更加关注煤岩边界的细节特征，通过有效结合高层和低层信息，提高了模型特征提取能力。
![]()
图 11 引入不同注意力模块的图像特征提取结果Figure 11. Results of image feature extraction with different attention modulesCBAM模块对DeeplabV3+模型性能的影响见表3。由表3可以看出，当在Backbone和Decoder网络中同时引入CBAM注意力模块时，模型的准确度和MIoU值分别较原模型提高了5.59%和1.43%，较引入SENet模型提高了0.63%和0.47%，可见CBAM注意力模块的使用减少了无关特征对模型的影响，增加了对重点煤岩目标的学习和融合各层级信息的能力，从而增强了网络模型的特征判别性和分割精度。
表 3 引入不同注意力模块的网络性能Table 3. Network performance with different attention modules网络模型 准确度/% MIoU/% 未引入CBAM 87.79 90.93 Backbone引入CBAM 90.26 91.27 Decoder引入CBAM 92.67 91.54 均引入CBAM 93.38 92.36 均引入SENet 92.75 91.89 2.3.3 采用迁移学习的消融试验
为检测采用迁移学习训练方法对模型性能的影响，对所提出的采用MobilenetV2骨干网络和CBAM注意力模块的DeeplabV3+模型在使用与不使用迁移学习训练下的结果进行对比，结果。如图12所示，在训练过程的前40个批次，2种模型的MIoU值均呈快速增长趋势，后期逐渐平稳收敛，采用迁移学习训练的模型增长速度更快，最终达到的MIoU值更高，在更短的训练时间内获得了更高的准确性。因此，采用迁移训练学习可以减少模型训练的时间，强化模型训练效果，增强模型的准确度和分割精度。
![]()
图 12 是否采用迁移学习的DeeplabV3+模型性能对比Figure 12. Performance comparison of DeeplabV3+ models with or without transfer learning2.3.4 不同煤岩图像分割模型的消融试验对比
为了测试与分析本文改进DeeplabV3+网络模型在煤岩图像分割中的应用效果，选择常用的FCN网络模型、SegNet网络模型和U-net网络模型进行对比分析，训练过程的准确率和损失函数值变化规律如图13所示。提取各网络模型性能指标列于表4，可以看出，改进的DeeplabV3+模型准确度可达94.67%，MIoU指标达到93.48%，均优于其他模型。这是由于与FCN、SegNet、U-net相比，改进的DeeplabV3+模型有着更优的特征提取能力，通过引入CBAM注意力模块降低了背景等无关特征的影响，突出煤岩边界区域显著特征，并将低层特征与高层特征有效融合，提升了模型表征能力。另外，由于使用了轻量化模块MobilenetV2作为骨干网络，并采用迁移学习训练方法，有效减少了模型参数量，提升模型运行速度和分割精度。综上所述，改进DeeplabV3+综合性能最优，更易满足煤岩图像分割的精度和实时性要求。
表 4 不同网络模型性能指标Table 4. Performance indicators for different network models网络模型 准确度/% MIoU/% 模型大小/M 测试用时
/（ms·张−1）FCN 79.56 84.93 53.5 79.43 SegNet 81.24 86.59 78.4 68.79 U-net 84.47 88.84 94.9 69.68 DeeplabV3+ 87.79 90.93 89.5 65.47 改进 DeeplabV3+ 94.67 93.48 32.4 42.58 从验证集随机挑选不同分布的煤岩图像，不同模型的可视化分割预测结果对比如图14所示。由图14可以看出，所有网络模型均可以将煤岩分布的大致区域进行分割，但是采用FCN、SegNet、U-net、DeeplabV3+时，煤岩边缘区域未能完全识别或超出边界，煤岩边界细节分割不准确。相比而言，本文改进DeeplabV3+能有效识别煤岩边界细节特征，煤岩边界更加清晰准确，可以与输入煤岩图像实际边界有效拟合。
![]()
图 14 不同网络模型的煤岩图像分割效果对比Figure 14. Comparison of coal rock image segmentation results with different network models2.3.5 基于TensorRT的推理时间加速优化
TensorRT是英伟达开发的一款高性能深度学习推理优化器，可以为深度学习应用提供低延迟、高吞吐率的部署推理。为展现本文改进DeeplabV3+煤岩界面图像识别模型的推理时间优势，采用推理加速框架TensorRT进行加速优化，模型优化前后的识别精度和推理时间结果对比见表5。虽然模型经TensorRT优化后，其识别精度略有下降, 但是推理时间却有极大提升，单张图片的平均推理时间可达6.14 ms，满足煤岩界面图像识别的实时性检测要求。
表 5 TensorRT优化前后模型性能对比Table 5. Model performance comparison before and after TensorRT optimization模型性能 TensorRT优化前 TensorRT优化后 准确度/% 94.67 93.96 推理时间/（ms·张-1） 42.58 6.14 3. 井下现场试验验证
为验证算法在井下实际现场应用的可行性，从山西省吕梁市某矿薄煤层综采工作面采集得到煤岩原始图像（图15）。为避免液压支架挡板等背景信息干扰并丰富数据集，对原始煤岩图像进行切分，共获得200张煤岩图像样本。然后采用数据增强扩充数据集并对图像进行标注，最终构建综采工作面煤岩分割数据集共1 200张图像，按照9∶1比例划分形成训练集和验证集，样本和标签示例如图16所示。
![]()
图 16 综采工作面煤岩分割数据集样本示例Figure 16. A sample of semantic segmentation data set for coal-rock images in a fully-mechanized coal mining face将FCN、SegNet、U-net、DeeplabV3+和本文改进DeeplabV3+网络模型在综采面煤岩分割数据集进行迁移训练，训练参数同上文实验室训练设置。从测试集随机挑选2张煤岩图像，2种模型分割结果如图17所示。由图17可以看出，本文改进DeeplabV3+网络模型可以更好地感知全局信息并获取煤岩边缘等细节特征，识别结果更为准确。
![]()
图 17 综采工作面煤岩图像分割结果对比Figure 17. Comparison of coal and rock image semantic segmentation in fully-mechanized coal mining face最后，将原始整体煤岩图像输入改进DeeplabV3+网络模型中进行语义分割，结果如图18所示，煤岩层界面图像识别结果基本与人为标注煤岩界面分布情况一致，可以实现综采工作面截割煤壁煤岩层分布状态的自动识别预判，从而为采掘设备提供调控依据。
![]()
图 18 综采工作面原始煤岩图像识别结果Figure 18. Recognition results of original coal and rock image of fully-mechanized working face4. 结 论
1）提出了基于改进DeeplabV3+和迁移学习的煤岩界面图像识别模型，模型使用轻量化MobileNetV2作为骨干网络，引入CBAM注意力机制模块，在提升模型运行效率的同时增强了特征提取能力，并采用迁移学习训练方法，降低了样本分布差异性对网络性能的影响。
2）实验室消融试验结果表明，改进DeeplabV3+模型在自制煤岩分割数据集上准确度可达94.67%，MIoU达到93.48%，模型大小为32.4M，测试用时为42.58 ms/张，与其他模型相比，改进DeeplabV3+网络模型在煤岩图像分割中性能更优。采用推理加速框架TensorRT进行加速后，模型推理时间可达到6.14 ms/张，满足煤岩界面实时检测的需求。
3）井下现场试验结果表明改进DeeplabV3+可以较好识别出综采工作面的煤岩层界面分布，验证了模型应用于煤岩识别的可行性和实用性。
4）笔者所提方法为煤矿井下煤岩识别任务提供了新的研究思路和理论模型，要将模型迁移部署于实际煤矿井下，后续需进一步研究低照度煤岩图像超分辨率重建优化算法，并收集大量井下实际煤岩界面图像，构建煤岩数据信息样本库保证模型充分训练学习拥有更准确的判别能力。
-
![]()
图 1 综采工作面自适应截割路径规划方案
Figure 1. Adaptive cutting path planning scheme for longwall mining face
![]()
图 5 采煤机第49刀的截割轨迹规划结果
Figure 5. Cutting trajectory planning results of the 49th cutter of the shearer
![]()
图 6 采煤机第50刀的截割轨迹规划结果
Figure 6. Cutting trajectory planning results of the 50th cutter of the shearer
表 1 训练数据集预测误差
Table 1 Training dataset errors
MAPE RMSE MAE 上滚筒 下滚筒 上滚筒 下滚筒 上滚筒 下滚筒 0.90 3.94 4.53 4.37 1.90 1.89 
下载: 导出CSV
表 2 验证数据集预测误差
Table 2 Validation dataset prediction error
采煤机截割刀 MAPE RMSE MAE 上滚筒 下滚筒 上滚筒 下滚筒 上滚筒 下滚筒 第49刀 1.25 9.67 5.20 3.85 2.08 1.25 第50刀 1.42 15.89 6.11 5.89 2.20 1.52
下载: 导出CSV
表 3 优化前后截割平均绝对误差
Table 3 MAE before and after optimization
采煤机截割刀 优化前的MAE 优化后的MAE 上滚筒 下滚筒 上滚筒 下滚筒 第49刀 3.13 1.27 2.04 1.24 第50刀 2.74 1.04 1.27 0.98
下载: 导出CSV
-
[1] WANG Guofa,XU Yongxiang,REN Huaiwei. Intelligent and ecological coal mining as well as clean utilization technology in China:review and prospects[J]. International Journal of Mining Science and Technology,2019,29:161−169. doi: 10.1016/j.ijmst.2018.06.005
[2] 王国法,杜毅博,徐亚军,等. 中国煤炭开采技术及装备50年发展与创新实践−纪念《煤炭科学技术》创刊50周年[J]. 煤炭科学技术,2023,51(1):1−18. doi: 10.13199/j.cnki.cst.2021.01.001 WANG Guofa,DU Yibo,XU Yajun,et al. Development and innovation practice of China coal mining technology and equipment for 50 years: Commemorate the 50th anniversary of the publication of Coal Science and Technology[J]. Coal Science and Technology,2023,51(1):1−18. doi: 10.13199/j.cnki.cst.2021.01.001
[3] 赵亦辉,赵友军,周 展. 综采工作面采煤机智能化技术研究现状[J]. 工矿自动化,2022,48(2):11−18,28 doi: 10.13272/j.issn.1671-251x.2021090024 ZHAO Yihui,ZHAO Youjun,ZHOU Zhan. Research status of intelligent technology of shearer in fully mechanized working face[J]. Industry and Mine Automation,2022,48(2):11−18,28. doi: 10.13272/j.issn.1671-251x.2021090024
[4] 任怀伟,巩师鑫,刘新华,等. 煤矿千米深井智能开采关键技术研究与应用[J]. 煤炭科学技术,2021,49(4):149−158. doi: 10.13199/j.cnki.cst.2021.04.018 REN Huaiwei,GONG Shixin,LIU Xinhua,et al. Research and application on key techniques of intelligent mining for kilo-meter deep coal mine[J]. Coal Science and Technology,2021,49(4):149−158. doi: 10.13199/j.cnki.cst.2021.04.018
[5] 权国通,谭 超,侯海潮,等. 基于粒子群三次样条优化的采煤机截割路径规划[J]. 煤炭科学技术,2011,39(3):77−79. doi: 10.13199/j.cst.2011.03.82.quangt.030 QUAN Guotong,TAN Chao,HOU Haichao,et al. Cutting path planning of coal shearer based on particle swarm triple spline optimization[J]. Coal Science and Technology,2011,39(3):77−79. doi: 10.13199/j.cst.2011.03.82.quangt.030
[6] 司 垒,王忠宾,刘新华,等. 基于煤层分布预测的采煤机截割路径规划[J]. 中国矿业大学学报,2014,43(3):464−471. doi: 10.13247/j.cnki.jcumt.000133 SI Lei,WANG Zhongbin,LIU Xinhua,et al. Cutting path planning of coal mining machine based on prediction of coal seam distribution[J]. Journal of China University of Mining and Technology,2014,43(3):464−471. doi: 10.13247/j.cnki.jcumt.000133
[7] 柴浩洛,邢存恩,华同兴. 基于双圆弧样条曲线的采煤机上滚筒割煤路径规划[J]. 工矿自动化,2020,46(12):84−89. doi: 10.13272/j.issn.1671-251x.2020060049 CHAI Haoluo,XING Cun’en,HUA Tongxing. Cutting coal path planning of shearer up-drum based on double arc spline curve[J]. Industry and Mine Automation,2020,46(12):84−89. doi: 10.13272/j.issn.1671-251x.2020060049
[8] 安葳鹏,徐玉平. 基于改进蚁群算法的滚筒截割轨迹规划[J]. 测控技术,2018,37(6):29−34. doi: 10.19708/j.ckjs.2018.06.006 AN Weipeng,XU Yuping. Roller cutting trajectory planning based on improved ant colony algorithm[J]. Measurement and Control Technology,2018,37(6):29−34. doi: 10.19708/j.ckjs.2018.06.006
[9] ZHANG Hong,HOU Yunbing,SUN Zhenming,et al. An optimal algorithm for planning shearer trailing drum cutting path[J]. Shock and Vibration,2021,1354705.
[10] 陈伟华,南鹏飞,闫孝姮,等. 基于深度学习的采煤机截割轨迹预测及模型优化[J]. 煤炭学报,2020,45(12):4209−4215. doi: 10.13225/j.cnki.jccs.2019.1779 CHEN Weihua,NAN Pengfei,YAN Xiaoheng,et al. Shearer cutting trajectory prediction and model optimization based on deep learning[J]. Journal of China Coal Society,2020,45(12):4209−4215. doi: 10.13225/j.cnki.jccs.2019.1779
[11] WANG Fuzhong,GAO Ying,ZHANG Fukai. Research on trajectory tracking strategy of roadheader cutting head using ILC[A]. Proceedings of the 2015 Chinese Intelligent Systems Conference. Berlin:Springer,2015:35-44.
[12] 赵丽娟,王雅东,张美晨,等. 复杂煤层条件下采煤机自适应截割控制策略[J]. 煤炭学报,2022,47(1):541−563. doi: 10.13225/j.cnki.jccs.yg21.1862 ZHAO Lijuan,WANG Yadong,ZHANG Meichen,et al. Research on self-adaptive cutting control strategy of shearer in complex coal seam[J]. Journal of China Coal Society,2022,47(1):541−563. doi: 10.13225/j.cnki.jccs.yg21.1862
[13] 邱呈祥. 基于GIS系统的采煤机导航自适应截割技术研究[J]. 煤矿现代化,2021,30(4):113−115. doi: 10.3969/j.issn.1009-0797.2021.04.036 QIU Chengxiang. Research on navigation adaptive cutting technology of shearer based on GIS system[J]. Coal Mine Modernization,2021,30(4):113−115. doi: 10.3969/j.issn.1009-0797.2021.04.036
[14] 孔 维. 基于煤层地理信息系统的采煤机截割路径规划方法[D]. 徐州:中国矿业大学,2019:9-44. KONG Wei. Planning method of shearer cutting path based on coal seam geographic information system [D] Xuzhou:China University of Mining and Technology,2019:9-44.
[15] 范森煜. 采煤机截割轨迹稳定性控制方案的优化研究[J]. 自动化应用,2020(7):125−126. doi: 10.19769/j.zdhy.2020.07.046 FAN Senyu. Optimization research on the stability control scheme of shearer cutting trajectory[J]. Automation Application,2020(7):125−126. doi: 10.19769/j.zdhy.2020.07.046
[16] 崔 耀,叶 壮. 基于5G+云边端协同技术的采煤机智能调高调速 控制系统设计与应用[J]. 煤炭科学技术,2023,51(6):205−216. doi: 10.13199/j.cnki.cst.2022-1017 CUI Yao,YE Zhuang. Research on cloud-edge-terminal collaborative intelligent control of coal shearer based on 5G communication[J]. Coal Science and Technology,2023,51(6):205−216. doi: 10.13199/j.cnki.cst.2022-1017
[17] 周 信,王忠宾,谭 超,等. 基于双坐标系的采煤机截割路径平整性控制方法[J]. 煤炭学报,2014,39(3):574−579. doi: 10.13225/j.cnki.jccs.2013.0429 ZHOU Xin,WANG Zhongbin,TAN Chao,et al. A smoothness control method for cutting path of the shearer based on double-coordinators[J]. Journal of China Coal Society,2014,39(3):574−579. doi: 10.13225/j.cnki.jccs.2013.0429
[18] LI Juanli,LIU Yang,XIE Jiacheng,et al. Cutting path planning technology of shearer based on virtual reality[J]. Applied Sciences,2020,10(3):771. doi: 10.3390/app10030771
[19] 董 刚,马宏伟,聂 真. 基于虚拟煤岩界面的采煤机上滚筒路径规划[J]. 工矿自动化,2016,42(10):22−26. doi: 10.13272/j.issn.1671-251x.2016.10.005 DONG Gang,MA Hongwei,NIE Zhen. Path planning of shearer up-drum based on virtual coal-rock interface[J]. Industry and Mine Automation,2016,42(10):22−26. doi: 10.13272/j.issn.1671-251x.2016.10.005
[20] SHI Hengbo,XIE Jiacheng,WANG Xuewen,et al. An operation optimization method of a fully mechanized coal mining face based on semi-physical virtual simulation[J]. International Journal of Coal Science & Technology,2020,7:147−163.
[21] 程建远,朱梦博,王云宏,等. 煤炭智能精准开采工作面地质模型梯级构建及其关键技术[J]. 煤炭学报,2019,44(8):2285−2295. doi: 10.13225/j.cnki.jccs.KJ19.0510 CHENG Jianyuan,ZHU Mengbo,WANG Yunhong,et al. Cascade construction of geological model of longwall panel for intelligent precision coal mining and its key technology[J]. Journal of China Coal Society,2019,44(8):2285−2295. doi: 10.13225/j.cnki.jccs.KJ19.0510
[22] 高士岗,高登彦,欧阳一博,等. 中薄煤层智能开采技术及其装备[J]. 煤炭学报,2020,45(6):1997−2007. doi: 10.13225/j.cnki.jccs.zn20.0246 GAO Shigang,GAO Dengyan,OUYANG Yibo,et al. Intelligent mining technology and its equipment for medium thickness thin seam[J]. Journal of China Coal Society,2020,45(6):1997−2007. doi: 10.13225/j.cnki.jccs.zn20.0246
[23] 毛善君,鲁守明,李存禄,等. 基于精确大地坐标的煤矿透明化智能综采工作面自适应割煤关键技术研究及系统应用[J]. 煤炭学报,2022,47(1):515−526. doi: 10.13225/j.cnki.jccs.2021.0005 MAO Shanjun,LU Shouming,LI Cunlu,et al. Key technologies and system of adaptive coal cutting in transparent intelligent fully mechanized coal mining face based on precise geodetic coordinates[J]. Journal of China Coal Society,2022,47(1):515−526. doi: 10.13225/j.cnki.jccs.2021.0005
[24] ZHANG Yagang,LI Ruixuan. Short term wind energy prediction model based on data decomposition and optimized LSSVM[J]. Sustainable Energy Technologies and Assessments,2022,52(A):102025.
[25] ZHOU Jie,LIN Haifei,JIN Hongwei,et al. Cooperative prediction method of gas emission from mining face based on feature selection and machine learning[J]. International Journal of Coal Science & Technology,2022,9(51):1−12.
[26] TANG Hong,LING Xiangzheng,LI Liangzhi,et al. One-shot pruning of gated recurrent unit neural network by sensitivity for time-series prediction[J]. Neurocomputing,2022,512:15−24. doi: 10.1016/j.neucom.2022.09.026
[27] 巩师鑫,任怀伟,杜毅博,等. 基于MRDA-FLPEM集成算法的综采工作面矿压迁移预测[J]. 煤炭学报,2021,46(S1):529−538. doi: 10.13225/j.cnki.jccs.2020.1361 GONG Shixin,REN Huaiwei,DU Yibo,et al. Transfer prediction of underground pressure for fully mechanized mining face based on MRDA-FLPEM integrated algorithm[J]. Journal of China Coal Society,2021,46(S1):529−538. doi: 10.13225/j.cnki.jccs.2020.1361
-
期刊类型引用(12)
1. 赵娅，管玉，贾迪. 基于深度学习的微观剩余油赋存形态分类识别综述. 计算机系统应用. 2025(01): 26-36 . 
百度学术
2. 杨焜，王宏伟，张夫净，李进，张之好，李正龙. 多尺度复杂环境下的锚孔定位方法. 矿业研究与开发. 2025(01): 126-134 . 百度学术
3. 李梅，张鹏鹏，李元琛. AI赋能智能矿山:应用场景及未来展望. 煤炭经济研究. 2025(02): 161-169 . 百度学术
4. 王忠宾，李福涛，司垒，魏东，戴嘉良，张森. 采煤机自适应截割技术研究进展及发展趋势. 煤炭科学技术. 2025(01): 296-311 . 本站查看
5. 卢才武，宋义良，江松，章赛，王懋，纪凡. 基于改进U-net的少样本煤岩界面图像分割方法. 金属矿山. 2024(01): 149-157 . 百度学术
6. 李季，马潇锋，吴洁琪，强旭博，武荔阳，闫博，董继辉，陈朝森. 融合钻孔地质信息的煤岩图像识别方法. 工矿自动化. 2024(08): 38-43+68 . 百度学术
7. 田培忠. 基于ResNet网络层数的露天矿道路识别效果研究. 露天采矿技术. 2024(05): 59-64 . 百度学术
8. 张传伟，何正伟，路正雄，李林岳，龚凌霄，张刚强，潘巧娜. 基于MRU-Net++的极薄煤层综采面煤岩界面图像识别. 煤炭科学技术. 2024(11): 103-116 . 本站查看
9. 武强，张帅，杜沅泽，徐华，赵颖旺. 基于MRAU视频分割模型的矿井涌（突）水风险识别方法. 煤炭科学技术. 2024(11): 17-28 . 本站查看
10. 吴安坤，郭军成，王强，冷宇. 基于改进DeepLabv3+网络的气象卫星影像雷暴识别. 气象科技. 2024(06): 775-786 . 百度学术
11. 周素静，康楠，余敏. 基于变形分数阶Lorenz混沌系统的煤岩界面图像分割方法. 金属矿山. 2024(12): 246-251 . 百度学术
12. 解北京，李恒，董航，栾铮，张奔，李晓旭. 基于多尺度特征融合井下猴车载人状态的智能识别算法与应用. 煤炭科学技术. 2024(12): 272-286 . 本站查看
其他类型引用(10)
计量
- 文章访问数: 47
- HTML全文浏览量: 10
- PDF下载量: 23
- 被引次数: 22
