Coal-rock interface image recognition based on MRU-Net++ for extremely thin coal seam fully-mechanized mining face
-
摘要:
煤岩识别是极薄煤层综采工作面实现智能化开采的核心技术之一。针对极薄煤层开采时煤岩分界线自然裸露在外的特殊情况,提出了一种基于MRU-Net++网络的极薄煤层煤岩图像识别方法。该网络以U-Net++为基础,通过“剪枝”技术对U-Net++结构进行优化,在U-Net++网络性能损失最小的同时减少其复杂度,以提高运算速度;采用MobileNetV2轻量化网络,构建一个基于MobileNetV2的核心骨干网络,替代U-Net++原有的网络架构,显著降低了模型的参数数量,提高了模型分割效率;同时引入含有通道注意力机制的ResNeSt模块来增强对煤岩图像边缘细节特征的提取能力,提高分割精度。利用液压支架上的防爆摄像仪采集极薄煤层综采工作面煤岩图像,获取具有煤岩分布信息的高清煤岩图像并对图像进行预处理,创建含有2 536个样本的极薄煤层综采面煤岩图像数据集。设置消融试验,验证改进部分对网络性能的影响,并将该模型与经典FCN、U-Net、U-Net++网络模型进行对比,利用自适应学习算法训练各网络模型,选择像素准确度(Pixel Accuracy, PA)、交并比(Intersection over Union, IOU)及测试时间等关键指标评估模型分割效果。结果显示,MRU-Net++网络模型的平均像素准确度PAM和交并比IOUM分别为97.15%和94.16%,模型占用内存25.71 M,每张图像的平均测试时间28.61 ms,充分证明了该方法在极薄煤层特殊环境下进行煤岩识别任务的可行性与有效性。
-
关键词:
- 极薄煤层 /
- 煤岩识别 /
- 语义分割 /
- U-Net++网络模型 /
- 深度学习
Abstract:Coal rock recognition is one of the core technologies to realize intelligent mining in the integrated mining face of extremely thin coal seam. Aiming at the special situation that the coal-rock boundary is naturally exposed during the mining of extremely thin coal seams, an image recognition method based on MRU-Net++ network was proposed for coal-rock image recognition of extremely thin coal seams. The network is based on U-Net++, and the structure of U-Net++ was optimized by the method of “pruning”, which reduces the complexity of U-Net++ network while minimizing the loss of its performance in order to improve the computing speed. MobileNetV2 lightweight network was used to construct a core backbone network based on MobileNetV2, replacing the original network architecture of U-Net++, which significantly reduces the number of parameters of the model and improves the efficiency of the model segmentation. At the same time, the ResNeSt module, which contains the channel attention mechanism, was introduced to enhance the ability of extracting the detailed features of the edges of the coal and rock images, and to increase the segmentation accuracy. The explosion-proof camera on the hydraulic support was used to collect the coal rock images of the comprehensive mining face in the extremely thin coal seam, and the high-definition coal rock images with coal rock distribution information were acquired and preprocessed to create a coal rock image dataset of the comprehensive mining face of the extremely thin coal seam containing 2 536 samples. The ablation test was set up to verify the effect of the improved part on the network performance. The model was compared with the classical FCN, U-Net, and U-Net++ network models and the network models were trained using adaptive learning algorithms. Key indexes such as Pixel Accuracy (PA), Intersection over Union (IOU) and test time were selected to evaluate the model segmentation effect. The results show that the Mean Pixel Ascuracy (PAM) and Mean Intersection over Union (IOUM) of the MRU-Net++ network model are 97.15% and 94.16%, respectively, the memory occupied by the model is 25.71 M, and the average test time of each image is 28.61 ms, which fully proves the feasibility and effectiveness of the method for the coal rock recognition task under the special environment of extremely thin coal seam.
-
0. 引 言
煤炭作为我国的主体能源,是保障我国能源供给的“压舱石”和“稳定器”[1];在未来相当长的时期内,煤炭在我国难以被大规模替代[2]。近几年随着中国煤炭行业高速发展,易开采的厚与中厚煤层资源越来越少,薄煤层所占比例越来越高[3]。为避免“采厚弃薄”造成资源浪费,我国规定煤矿要开采薄煤层,必须开采0.8 m以上的煤层,鼓励开采0.8 m以下的煤层。极薄煤层开采空间小、效率低、工人劳动强度大、安全事故多、智能化水平不足[4]。近年来,我国矿山领域兴起了数字化和智能化发展高潮[5],因此,加快极薄煤层综采工作面向智能化、无人化发展迫在眉睫。采煤机是极薄煤层综采工作面的核心装备,其智能化程度对实现综采面无人化起着决定性作用[6];采煤机截割滚筒的自适应调高在其中扮演着重要角色;而煤岩识别技术又是实现滚筒智能调高的基础,是实现采煤机智能化作业的关键技术之一[7-9]。
近年来,国内外学者对煤岩识别技术进行了深入研究,提出了多种方法,为煤岩识别技术发展、综采工作面智能化建设提供理论指导[10]。然而,由于井下环境的复杂性以及传感器性能的限制,这些方法尚未在实际开采中广泛应用。目前,国内采煤机滚筒的调节大多依赖人工调节及采煤机记忆截割[11]。
在极薄煤层地质条件下,受采高过低,采煤机截割滚筒直径过大等因素的制约,为确保采煤机有足够空间可以正常运行,需要破顶,进行煤岩统采;在此条件下,煤岩分界线会自然裸露在外,因此,基于图像处理的煤岩识别方法更加适用于极薄煤层。随着数字化技术及机器视觉图像识别领域的发展,可实现矿山开采各种信息和综采设备的3D可视化、远程监控等[12];基于图像处理的煤岩识别技术逐渐成为解决煤岩识别问题的一个重要研究方向[13-15]。田慧卿等[16]利用图像识别技术分别分析了不同灰度和纹理的煤岩,并利用二维小波分解技术识别了不同性状的煤岩;章华等[17]利用灰度共生矩阵分别对煤与岩石的图像纹理进行特征提取,实现对煤岩的分类识别。
目前,得益于深度学习的发展,许多学者将深度学习广泛应用于图像识别领域。伍云霞等[18-19]通过使用字典学习和最大池化稀疏编码技术提取与识别煤岩图像特征;张斌等[20]将深度学习目标检测算法YOLOv2与线性成像模型相结合,对井下采集煤岩图像进行了智能识别与定位;司垒等[21]在U-net网络模型的基础上进行改进,设计了一种用于综采工作面的煤岩识别方法,在降低训练速度的同时提高了图像分割的精度;闫志蕊[22]等提出一种基于改进DeeplabV3+和迁移学习的煤岩界面图像识别网络模型,实现了煤矿井下工作面的煤岩界面图像识别;高峰等[23]提出了一种基于塔式池化架构和卷积神经网络的煤岩图像分割识别网络模型,在井下的试验中取得了良好的煤岩识别效果。
对上述研究进行分析可以看出目前的研究主要集中在煤岩图像分类识别方面,对于煤与岩在图中精确分布的研究相对较少;且网络模型在计算量上仍然较为庞大,计算时间较长,难以满足实时检测的需求,而且考虑到极薄煤层井下综采工作面的复杂环境,网络模型在实际应用中面临诸多挑战,如适用性和准确性等问题仍待克服。
为了精确识别极薄煤层综采面的煤岩分布情况并提取煤岩分界线,以指导采煤机滚筒智能调高,笔者着重研究了U-net++网络模型,并针对极薄煤层煤岩分界线自然外露的特殊情况,在计算时间、精度和泛化性等方面改进U-net++网络。提出了一种基于MRU-net++的极薄煤层煤岩图像识别网络模型,并通过仿真试验对该网络模型进行全面的验证,试验结果表明该模型可以有效地识别极薄煤层综采面煤岩图像中煤与岩的精确分布,为攻克极薄煤层煤岩识别技术难题提供了新思路和解决方案,具有理论和实践意义。
1. 基于改进U-Net++的极薄煤层煤岩图像语义分割网络模型设计
1.1 U-Net++网络介绍
U-Net++[24]是在原始U-Net基础上改进的一种新型网络结构,如图1所示。图中L为深度监督机制的损失函数。
U-Net++在跳跃连接中增加了密集卷积块(图1中绿色部分),使得编码器的特征图在与解码器的特征图融合前先经过处理,以减小它们之间的语义差距;对于提升模型性能、增强特征表达能力、改善训练过程以及提高分割精度都起到了积极作用。
U-Net++通过引入更多的跳跃连接和密集连接,以增强特征传播,提高语义分割的性能。每个解码器层不仅与对应的编码器层有跳跃连接,还与多个不同深度的编码器层形成密集跳跃连接(图1中蓝色部分)。这种结构使得解码器层能够综合利用来自不同深度的特征,有效增强了特征的传播能力。
U-Net++通过引入深度监督机制(图1中的红色部分),在不同语义层次上施加监督信号,使得模型能够更好地学习多尺度特征。不仅提高了模型的分割精度,还支持模型在推理时进行剪枝,从而在速度和精度之间实现了良好的平衡。深度监督技术融合了二元交叉熵(Binary Cross-Entropy)和Dice系数,形成了一种复合损失函数:
$$ L(Y,\hat Y) = - \frac{1}{N}\sum\limits_{b = 1}^N {\left( {\frac{1}{2} {Y_b} \log {{\hat Y}_b} + \frac{{2 {Y_b} {{\hat Y}_b}}}{{{Y_b} + {{\hat Y}_b}}}} \right)} $$ (1) 式中:$ L(Y,\hat Y) $为复合损失函数;Y为真实数据标签;$ \hat Y $为模型预测输出;N为每次迭代输入模型的样本数量;b为样本的索引; $ {Y_b} $、$ {\hat Y_b} $分别为真实标签的平均值何预测概率的平均值。
1.2 U-Net++网络结构“剪枝”优化
U-Net++虽然通过其创新的跳跃路径设计和密集卷积块,提升了一定的分割精度,但复杂的网络结构导致模型参数增多,计算量也随之增加。U-Net++引入了深度监督的机制,通过在不同语义层次上施加监督信号,帮助网络识别关键通道或连接,为剪枝提供了基础。
因此,利用深度监督的机制,通过“剪枝”技术对模型结构进行调整,在最小化性能损失的同时减少模型的复杂度以提高运算速度。“剪枝”技术中,L为不同深度的子网络。例如,若L1的分割结果已达到预期,就不必再运行更深层的L2、L3和L4。
为了验证不同深度U-Net++网络效率,采用不同深度的U-Net++神经网络架构,分别在Cell Nuclei(细胞核)、Brain Tumor(脑部肿瘤)、Liver(肝脏)以及Coal-Rock(自制煤岩数据集)等数据集上进行详尽测试,结果如图2所示。
试验表明,对于医学图像数据集,适度的剪枝(如U-Net++L3)可以在推理时间减少约32.2%的情况下,仅使IOU降低0.6%;当将不同深度的U-Net++网络应用于自制煤岩数据集时,同样能够实现相似的优化效果。这不仅验证了“剪枝”操作的优越性,也表明了U-Net++网络在处理极薄煤层煤岩识别任务时的潜力和灵活性。因此,采用U-Net++L3作为网络模型的基础架构,如图3所示,右侧灰色模块为剪枝所去除的网络结构。
1.3 基于MobileNetV2的特征提取骨干网络设计
U-Net++中通常采用VGG模块进行特征提取,结构复杂,需要大量的计算资源,针对这一问题,选择轻量化MobileNetV2[25]替代U-Net++原有的骨干网络,构建基于MobileNetV2的特征提取骨干网络。MobileNetV2是一种创新的轻量级卷积神经网络架构,通过引入倒置残差结构(Inverted Residual Blocks)和线性瓶颈层(Linear Bottlenecks)在保持高效计算的同时保持了较高的精度和性能。
倒置残差结构是MobileNetV2的核心构建单元,如图4所示。该结构采用一种与常规残差块截然不同的设计策略。在这种结构中,首先通过扩展卷积将输入的低维特征图扩展到高维空间,通过增加通道数来丰富特征信息,从而提升特征表示能力。随后,利用深度可分离卷积进行高效的特征提取,这一过程将传统卷积分解为2个更简洁的操作:即深度卷积(Depthwise Convolution)和逐点卷积(Pointwise Convolution)。首先,对网络的每个输入通道独立应用深度卷积,实现了通道间的独立特征提取;然后通过1×1的逐点卷积操作对深度卷积生成的特征图进行线性组合与调整,以实现特征的进一步优化与融合。对于一个输入通道数为$ {C_{\rm{in}}} $、输出通道数为$ {C_{\rm{out}}} $、卷积核大小为$ K \times K $、输出特征图大小为$ H \times W $的普通卷积,其计算量可以表示为:$ H \times W \times {K^2} \times {C_{\rm{in}}} \times {C_{\rm{out}}} $。而同样条件下,深度可分离卷积的计算量可表示为:$ H \times W \times {K^2} \times {C_{\rm{in}}} + H \times W \times {C_{\rm{in}}} \times {C_{\rm{out}}} $。与普通卷积相比深度可分离卷积具有显著的计算效率优势。
线性瓶颈层则是倒置残差结构的另一个关键要素,位于结构的末端。其主要作用是通过1×1卷积将特征图的通道数从扩展后的高维空间还原到原始的低维空间,同时采用线性激活函数。这样可以更好地保留煤岩图像中的特征信息,尤其是对煤岩图像中煤岩交界处的细微特征的保留更为有效。倒残差结构通过深度可分离卷积和线性瓶颈层的结合,使得MobileNetV2在保持高效计算的同时,能够保留煤岩图像中丰富的特征信息。
选择轻量化MobileNetV2替代U-Net++原有的骨干网络,选取不同层次的特征输出作为U-Net++编码器的输入,不仅继承了其轻量化和高效的特点,还能够有效利用其卓越的特征提取能力。MobileNetV2采用深度可分离卷积,在保持模型简洁的同时,为U-Net++提供了一个强大的特征提取引擎,使得网络能够更加精准地识别和处理煤岩图像中的复杂纹理和边缘信息,从而在图像分割过程中实现更高的精确度和可靠性。这种策略不仅优化了模型的性能,还提升了其在复杂煤岩图像分割任务中的适用性和灵活性。
1.4 引入基于联合注意力机制的ResNeSt模块
考虑到剪枝可能会影响模型的性能,因此,在U-Net++编码器中引入基于联合注意力机制的ResNeSt[26]模块,主要结构如图5所示,来增强对煤岩图像边缘细节特征的感知能力,在保持效率的同时,依然确保了优秀的分割精度。其中h、w分别为输入特征图的高度、宽度;c为输入通道数;c'为变化后的通道数;k为基数组数量;r为径向分割组数。该模块采用分组卷积和分支处理,可以有效捕捉多尺度特征,提高了模型的学习和特征表达能力;并利用Split Attention机制,动态调整不同分支的特征权重,强化对重要通道中关键特征的学习;最后,将合并后的特征映射与输入特征映射进行残差连接,以保留输入信息,防止梯度消失。通过这些机制,可以显著提高模型的性能,使网络在处理煤岩图像时能够更加敏锐地感知边缘和细节特征,从而提高煤岩图像的分割精度。
该模块首先引入基数(Cardinality)超参数K,基于超参数K将输入的特征图等分为K组,每个特征图组被称为基数组(Cardinal Groups),实现特征图在通道维度上的初步划分;然后,引入一个新的基数(Radix)超参数R,根据超参数R将每个基数组进一步细分为R个splits,实现特征图在通道维度上的二次划分。最终,将输入特征图经过两次划分,得到的特征图组总数为$ G = KR $;在这一划分基础上,对每个split独立应用相同的变换序列Fi,以提取局部特征,每个split的中间为
$$ {U}_{i}={F}_{i}(X), i\in {1,2,\cdots, G} $$ (2) 式中:Ui为经过变换序列Fi处理后的结果,Fi (X)为应用于每个split的变换序列;i为split的索引。
Split Attention是ResNeSt模块的核心部分,其结构如图6所示。
每个基数组的最终表示是通过将组内所有splits特征图按元素求和得到的,这一过程不仅保留了局部特征,也融合了全局信息。第k个基数组表示如下
$$ {\hat U^k} = \displaystyle\sum_{j = R(k - 1) + 1}^{RK} {{U_{{j}}}} $$ (3) 式中:$ {\hat U^k} $为第k个基数组的最终表示;j为每个基数组内splits的索引;k为基数组的索引;Uj为第k个基数组中第j个split的特征图。
$$ {\hat U^k} \in {R^{H \times W \times C/K}},k\in 1,2, \cdots, K $$ (4) 式中:H、W、C为特征图输出的大小,H为高度,W为宽度,C为通道数。
通过全局平均池化捕获每个split在空间维度上的全局上下文信息,形成通道统计量S k,这些统计量随后用于加权每个split的特征,强调重要特征并抑制不相关特征;在第k个Cardinal组中的第c个分量的计算公式如下
$$ s_c^k = \frac{1}{{H W}}\sum\limits_{i = 1}^H {\sum\limits_{j = 1}^W {\hat U_c^k(i,j)} } $$ (5) 式中:$ s_c^k $为第k个基数组中第c个通道的全局平均池化结果;H为特征图的高度;W为特征图的宽度;i、j为空间维度上的索引;$ \hat U_c^k(i,j) $为第k个基数组中第c个通道在位置(i,j)上的值。
通过通道软注意力机制对Cardinal组中的特征进行加权融合。V k表示增加了通道权重后的Cardinal输出,则第c个通道的计算公式为
$$ V_c^k = \sum\limits_{i = 1}^R {a_i^k} (c){U_{R(k - 1) + i}} $$ (6) 式中:$ V_c^k $为第k个Cardinal组中第c个通道加权融合后的特征图;i为第k个Cardinal组中第c个通道在split中的索引;$ a_i^k(c) $为每个特征图小组经过计算所得的权重;$ {U_{R(k - 1) + i}} $为第k个Cardinal组的第i个split的特征图。
$ a_i^k(c) $计算公式为
$$ a_i^k(c) = \left\{ {\begin{array}{*{20}{l}} {\dfrac{{\exp ({G}_i^c({s^k}))}}{{\displaystyle \sum\limits_{j = 1}^R {\exp } ({G}_j^c({s^k}))}}}&{\quad {\text{if }}R > 1} \\ {\dfrac{1}{{1 + \exp ( - {G}_i^c({s^k}))}}}&{\quad {\text{if }}R = 1} \end{array}} \right. $$ (7) 式中:$ {G}_i^c $为注意力权重函数,根据上下文信息$ {s^k} $计算第c个通道每个splits的权重。
最终,将所有基数组的输出在通道维度上进行拼接,形成模块的综合输出表示V,即通过拼接操作V=Concat{V1,V2,…,VK}实现。引入shortcut连接机制来产生最终的输出Y,其通过将拼接后的特征图V与原始输入特征图X相结合,来增强模型的学习能力。当输入和输出特征图在空间维度上具有相同的尺寸时,输出Y直接由两特征图相加得到,即$ Y = V + X $;当输入输出特征图在形状上不一致时,通过应用一个适当的转换T来调整输入特征图X,使其与输出特征图V的空间尺寸相匹配。其中转换T可以是一个跨步卷积,或者是由卷积和池化操作组合而成的复合变换。
1.5 MRU-Net++网络模型结构
针对极薄煤层综采工作面在煤岩统采条件下煤岩分界线自然裸露在外的特殊情况,提出一种MRU-net++极薄煤层煤岩图像识别网络模型,该模型基于U-net++网络模型,通过“剪枝”技术优化U-Net++结构,在最小化性能损失的同时减少模型的复杂度,选取剪枝后的U-Net++L3作为该网络模型基础结构;采用MobileNetV2轻量化网络,构建一个基于MobileNetV2的核心骨干网络,替代U-Net++原有的网络架构,显著降低了模型的参数数量,在保持模型简洁的同时,为U-Net++提供了一个强大的特征提取引擎,提高模型分割效率;同时引入含有通道注意力机制的ResNeSt模块来增强对煤岩图像边缘细节特征的提取能力,进一步提高分割精度。MRU-net++网络结构如图7所示。
2. 试 验
2.1 构建极薄煤层综采面煤岩图像数据集
2.1.1 极薄煤层煤岩图像采集及扩充
为确保该模型在井下实际综采工况中的可靠性,采用极薄煤层井下综采面真实煤岩图像制作数据集,煤岩图像数据来源于陕西省延安市子长县禾草沟二号煤矿1102工作面,煤层厚度0.68~0.90 m,平均厚度0.79 m,工作面采高为1 m,进行破顶开采,在此情况下,煤岩分界线会自然裸露在外。利用液压支架上的防爆摄像仪,如图8所示,在暗光条件下对极薄煤层综采工作面煤岩图像进行了采集,获取了具有煤岩分布信息的高清煤岩图像。
然而,原始图像过大,分辨率较高,导致在图像使用过程中面临着图像尺寸对模型训练效率和性能的双重影响问题:一方面,直接使用原始图像,会显著增加训练时间;另一方面,直接减小图像尺寸可能会牺牲重要的图像细节,影响模型的识别精度。为了避免这些问题,采取切分原始煤岩图像的方法,提取包含煤岩分界线的关键区域,得到尺寸统一为224×224的煤岩图像。这样不仅能够有效减小图像的尺寸,降低模型的计算负担,同时还可以丰富煤岩图像训练样本的多样性,从而增强模型对不同煤岩特征的泛化识别能力。
在网络模型训练阶段,面对煤岩图像数据集规模有限可能导致的过拟合问题,采取了一系列图像增强措施来扩展数据集,通过这些方法,不仅增加了数据集的多样性,还模拟了实际应用中可能遇到的情况,以提升模型的泛化性和鲁棒性,处理后的图像如图9所示。
2.1.2 极薄煤层低照度煤岩图像增强
针对极薄煤层井下低照度环境导致煤岩图像亮度过低,进而影响图像分割效果的问题,提出了一种基于改进MSR(Multi Scale Retinex)与CLAHE(Contrast Limited Adaptive Histogram Equalization)融合的低照度图像增强算法,旨在进一步提高煤岩图像的质量,算法流程如图10所示。
首先,将输入的低照度图像从RGB色彩空间转换至HSV色彩空间,并分离出V分量;将V分量分解为反射分量和照度分量;对分离出的照度分量乘以一个系数ω进行调整,本研究ω取0.7,降低图像中由光照不均引起的影响;同时,对反射分量实施CLAHE算法,以增强图像的对比度;最后引入伽马校正函数进行优化,进一步优化图像的光照和对比度,形成增强的V通道。将经过增强处理的V通道与H和S通道重新组合,形成增强的HSV通道结果,并转换回RGB色彩空间,最终得到增强后的煤岩图像,如图11所示。
由图中可明显看出,图像的亮度得到了一定的改善;从数据来看,原图像的直方图中像素值集中在较低的灰度值范围0~100内,峰值在50左右,像素值在50~100逐渐减少,从100开始,像素值数量迅速减少,到200左右时,几乎无像素值,这表明图像中大部分区域的亮度较低,高亮区域较少。增强后的直方图右移,像素值分布向高灰度值方向扩展,峰值位于100左右,这表明图像的整体亮度有所提升,在灰度值高于200的高亮区域,像素值数量也有明显增加,表明增强后的图像中高亮部分有所提升。通过对比直方图可以看出,图像增强后,整体亮度得到了提升,对比度也有所增强,更多的图像细节得以展现。
此外,还选择了均值、标准差、信息熵(IE)、峰值信噪比(PSNR)和结构相似性指数(SSIM)5个图像质量评估指标来进一步量化增强效果,结果见表1。
表 1 图像增强前后质量评估指标Table 1. Quality assessment metrics before and after image enhancement类别 均值 标准差 IE PSNR SSIM 原图像 58.75 37.81 6.98 — — 增强图像 101.64 42.73 7.32 27.38 0.82 由上表可以观察到,相对于原图像,增强图像的均值显著提高,表明整体亮度水平有所增加;标准差也有所提高,意味着图像的对比度得到了增强;信息熵略有提高,表明图像增强后细节信息更加丰富;PSNR值为27.38,表明图像增强算法有效地减少了失真,提高了图像质量;SSIM值为0.82,表示与原图像在结构上有很高的相似性,说明图像增强过程很好地保留了图像的结构特征。综上,该算法在提高图像整体亮度和对比度的同时减少失真,并保持图像的结构特征,有效提高了图像的整体质量和细节,使得图像在视觉上更加清晰、对比度更高,且保留了更多的细节信息。
2.1.3 极薄煤层煤岩图像标注
利用专业的图像标注软件labelme,对煤岩图像实施细致的语义分割标注,如图12所示,展示了煤岩原始图像及其对应的标注样本标签。为了适应网络模型的输入需求,将标注得到的json格式标签转换成了可视化的png图像格式;进而通过二值化处理,将煤岩图像中的煤和岩石分别用不同的像素值表示:煤区域的像素值设为255(图12中的白色部分),岩石区域的像素值设为0(图12中的黑色部分)。
通过上述步骤,最终构建了一个包含2 536个样本的极薄煤层综采面煤岩图像数据集,每个样本都包含煤岩分界线的关键区域,样本尺寸大小统一为224×224,并按照4∶1的比例将数据集划分为训练集和测试集。
2.2 模型的训练与参数设置
本试验模型基于Pytorch深度学习框架搭建,通过CUDA接口调用GPU资源,在GPU加速环境下进行训练测试,具体试验环境配置见表2。
表 2 试验环境配置Table 2. Experimental environment configuration试验环境 项目 参数 硬件 CPU Intel core i7−12700H 内存 16 G GPU NVIDIA GeForce RTX3060 显存 6 G 软件 操作系统 Windows 10 深度学习框架 PyTorch 2.0.1 CUDA 12.4 编程语言 Python 3.9 网络模型训练的超参数设置见表3。
表 3 训练参数设置Table 3. Training parameter settings项目 数值 初始学习率 0.0001 BatchSize 8 Epoch 100 损失函数 交叉熵 本研究所提出的MRU-Net++网络模型连同其他对比网络模型,均采用了Adam优化算法进行训练,训练过程经过100个epoch的迭代,其损失值和准确率的变化规律如图13a和图13b所示。
对各网络模型训练的损失值曲线和准确率曲线进行分析,可以发现随着训练迭代次数的增加,MRU-Net++网络及对比网络最终都趋于收敛,但MRU-Net++网络收敛的速度最快,最稳定;各网络的准确率随着训练迭代次数的增加也都大幅提升并趋于稳定,其中MRU-Net++网络准确率提升最快,并且趋于稳定后的准确率最高。
2.3 “剪枝”优化方法消融试验
采用“剪枝”技术对U-Net++网络模型结构进行调整,在最小化性能损失的同时减少模型的复杂度以提高运算速度。为了验证“剪枝”操作对本研究提出的MRU-Net++网络性能的影响,将剪枝后的U-Net++L3模型与未进行剪枝的U-Net++网络模型在自制极薄煤层综采面煤岩图像数据集上训练,采用IOUM和测试时间作为评价指标,以衡量模型的预测精度和测试速度,试验结果见表4。
表 4 “剪枝”方法消融试验对比结果Table 4. Comparative results of the "pruning" method ablation tests试验模型 IOUM/% 测试用时/(ms·张−1) 剪枝后的U-Net++L3 91.74 30.68 未剪枝的U-Net++ 92.43 44.36 观察表4各项数据可以明显发现,相较于未进行剪枝的U-Net++网络模型,剪枝后的U-Net++L3模型在IOUM只下降了不到0.7%,但测试时间却有显著减少,降低了约30%。由此可见,采用“剪枝”操作对U-Net++网络结构进行优化,在准确率几乎不受影响的情况下却显著降低了测试用时,极大地提高了运算速度,充分验证了“剪枝”操作的可行性与有效性。
2.4 MobileNetV2特征提取骨干网络消融试验
选择轻量化MobileNetV2替代U-Net++原有的以VGG Block为基础模块的骨干网络,构建基于MobileNetV2的特征提取骨干网络,降低模型参数量,提高分割效率。为了验证替换骨干网络对MRU-Net++网络性能的影响,选择U-Net++L3作为基础网络架构,将使用以MobileNetV2作为骨干网络的模型与原U-Net++L3网络模型进行对比试验,采用IOUM和测试用时作为评价指标,以衡量模型的预测精度和测试速度,试验结果见表5。
表 5 骨干网络性能对比结果Table 5. Backbone network performance comparison results骨干网络 IOUM/% 测试用时/(ms·张−1) MobileNetV2 91.49 24.53 原U-Net++L3 91.74 30.68 对表5中的数据进行对比分析,采用轻量化MobileNetV2作为骨干网络,整个网络模型的IOUM只下降了0.25%,几乎不受影响;但在测试用时方面,以MobileNetV2作为骨干网络时,效率明显高于原U-Net++L3网络,减少了约20%的测试用时。综上所述,可见采用轻量化MobileNetV2作为骨干网络,不仅继承了其轻量化和高效的特点,在保持模型简洁的同时,还能够为U-Net++提供了一个强大的特征提取引擎,性能更优。
2.5 联合注意力机制的ResNeSt模块消融试验
通过引入含有通道注意力机制的ResNeSt模块来增强对煤岩图像边缘细节特征的提取能力,进一步提高分割精度。为了检验该模块对MRU-Net++网络性能的影响,使用替换了MobileNetV2作为骨干网络的U-Net++L3模型作为基础框架,将未引入ResNeSt模块的模型与引入了ResNeSt模块之后的MRU-Net++模型,在自制极薄煤层综采面煤岩图像数据集上进行对比试验,选择平均像素准确度(PAM)和交并比(IOUM)作为评价指标,多方面衡量模型分割的精确度,试验结果见表6。
表 6 ResNeSt模块消融试验对比结果Table 6. Comparative results of the ResNeSt module ablation tests试验模型 IOUM/% PAM/% 未引入ResNeSt模块 91.49 95.27 MRU-Net++ 94.62 97.38 分析表6中的数据可以发现,在引入含有通道注意力机制的ResNeSt模块之后,MRU-Net++模型的各项指标均高于未引入ResNeSt模块的模型。引入ResNeSt模块之后的MRU-Net++模型IOUM提升了3.13%,PAM提升了2.11%。结果表明,基于联合注意力机制的ResNeSt模块,可以增强对煤岩图像边缘细节特征的感知能力,使网络在处理煤岩图像时能够更加敏锐地感知煤岩图像的边缘和细节特征,从而提高煤岩图像的分割精度。
2.6 不同网络模型性能对比试验
为了进一步验证所提出的MRU-Net++模型中增加和改进的相关机制的有效性,检验MRU-Net++网络模型在极薄煤层煤岩图像分割任务中的性能,将该模型与FCN、U-Net++和U-net等相关网络模型在自制极薄煤层综采面煤岩图像数据集上进行仿真试验,并采用模型大小、测试时间、像素准确度(PA)和交并比(IOU)作为核心的评价指标进行比较分析。
2.6.1 可视化分析
极薄煤层综采面煤岩图像数据集的测试集共508张煤岩图像,尺寸统一为224×224,将测试集分别输入到本文所提的MRU-Net++、U-Net++、U-Net和FCN网络模型中,经过训练测试得到分割结果。从中随机选取10组较为典型的煤岩图像分割结果,将分割结果的二值化图像中白色部分转换为红色进行展示,如图14所示,从左至右依次为MRU-Net++、U-Net++、U-Net和FCN网络的分割结果,图中红色部分为煤,黑色部分为岩石。
从各网络模型的分割效果图中,可以清晰地发现,所有参与测试的模型都能够在一定程度上识别并区分煤岩图像中的煤和岩石区域;但是在处理煤岩边缘的细节特征时,相较于其他模型,MRU-Net++模型表现出更为敏锐的感知能力,对煤岩边缘的分割更为精细和流畅,能够更准确地贴合煤岩图像的真实边界,与原煤岩图像的拟合度更高。
2.6.2 客观指标分析
训练完成后,记录每个网络模型执行语义分割任务时的耗时,并计算其平均运行时间,监测并记录了各模型在运行过程中所占用的内存资源,结果见表7。
表 7 各网络模型的内存及测试时间Table 7. Memory and test time of each network model网络模型 模型大小/M 测试用时/(ms·张-1) FCN 46.35 56.74 U-Net 31.24 39.43 U-Net++ 34.96 44.59 MRU-Net++ 25.71 28.61 由表7中的数据可以明显看出,本研究提出的MRU-Net++网络模型大小只有25.71 M,所占内存显著减少;同时平均每张图片的测试用时仅为28.61 ms,用时最短。可见就网络模型大小和测试用时而言,本研究采用的改进方法十分有效。
为了对不同网络模型在极薄煤层煤岩图像语义分割任务上的性能进行客观和定量的评估,选择PA和IOU作为核心的评价指标。像素准确度是一个直观的度量,衡量了模型正确分类的像素数与图像总像素数之间的比率,反映出模型在图像中每个像素级别上的准确性,其原理如图15所示。
像素准确度计算为
$$ {P_{_{\text{A}}}} = \frac{{{T_{_{\text{y}}}} + {T_{_{\text{m}}}}}}{{{T_{_{\text{y}}}} + {T_{_{\text{m}}}} + {F_{_{\text{y}}}} + {F_{_{\text{m}}}}}} $$ (8) 式中:Tm为属于煤且分类正确的像素点数量;Ty为属于岩且分类正确的像素点数量;Fm为属于煤但分类错误的像素点数量;Fy为属于岩但分类错误的像素点数量。
IOU是衡量模型预测区域与图像中真实目标区域重叠程度的指标。在目标检测任务中,它反映了系统预测的边界框与实际标注框之间的匹配度。IOU值越高,意味着预测边界框与真实边界框的重合度越大,不匹配的区域越少,识别的精度越高。IOU指标的计算公式如下
$$ I_{\mathrm{OU}}=\sum_{{\textit{z}}=1}^L \frac{n_{{\textit{z}} {\textit{z}}}}{R_{\textit{z}}+\displaystyle\sum_{{\textit{z}}=1}^L\left(n_{o {\textit{z}}}-n_{{\textit{z}} {\textit{z}}}\right)} $$ (9) 式中:L为图像像素的类别数量;z为图像类别的索引;nzz为实际类型为z、预测类型为z的像素总数;Rz为第z类的像素的总数; noz为实际类型为z、预测类型为o的像素总数。
表 8 PA评估得分Table 8. PA evaluation score项目 PA/% MRU-Net++ U-Net++ U-Net FCN 1 98.23 96.74 95.87 94.28 2 97.49 96.18 94.65 93.35 3 98.10 95.42 93.92 88.97 4 97.57 94.66 95.43 93.56 5 96.68 95.39 93.10 90.74 6 94.20 93.27 91.71 89.13 7 97.76 96.35 94.38 94.30 8 96.81 95.64 93.25 93.26 9 95.35 94.36 92.46 89.67 10 99.27 97.58 94.84 93.91 平均值 97.15 95.56 93.96 92.12 表 9 IOU评估得分Table 9. IOU evaluation score项目 IOU/% MRU-Net++ U-Net++ U-Net FCN 1 95.19 94.34 93.77 93.31 2 94.37 92.96 89.95 87.49 3 93.80 93.47 92.89 85.72 4 94.49 95.16 93.51 91.83 5 92.99 89.75 88.63 89.25 6 91.58 87.54 86.12 85.98 7 95.87 94.21 94.80 93.79 8 94.42 93.82 92.31 92.64 9 92.21 88.43 87.69 86.85 10 96.68 95.46 94.52 95.37 平均值 94.16 92.51 91.42 90.18 通过对表8和表9中所有网络模型像素准确度和交并比的评估得分进行分析可以发现,本研究提出的MRU-Net++网络模型对于极薄煤层煤岩图像识别结果的PA和IOU得分均高于其他模型,组内的波动较小,表现出较好的稳定性。在PA指标下的均值为97.15%,相对于U-Net++网络提升了1.59%,相对于U-Net网络提升了3.19%,相对于FCN网络提升了5.03%;在IOU指标下的均值为94.16%,相对于U-Net++网络提升了1.65%,相对于U-Net网络提升了2.74%,相对于FCN网络提升了3.98%。在对比网络中识别效果最好,精度最高。这是由于MRU-Net++通过引入基于联合注意力机制的ResNeSt模块,来增强对煤岩图像边缘细节特征的感知能力。该模块采用分组卷积和分支处理,可以有效捕捉多尺度特征,提高了模型的学习和特征表达能力;并利用Split Attention机制,动态调整不同分支的特征权重,强化对重要通道中关键特征的学习;通过这些机制,使网络在处理煤岩图像时能够更加敏锐地感知边缘和细节特征,从而提高煤岩图像的分割精度。
此外,结合网络模型大小和测试用时等指标进行综合分析,MRU-Net++通过“剪枝”操作对网络结构进行优化,并采用轻量化MobileNetV2作为骨干网络,显著降低了模型的参数量,极大地提高了运算速度,模型大小最小且测试用时最短。综上所述,本研究提出的MRU-Net++网络在所有网络中表现最佳。这不仅验证了MRU-Net++模型中增加和改进的相关机制的有效性,还充分证明了该模型在处理极薄煤层煤岩识别任务时的高效性和实用性。
3. 结 论
1)针对极薄煤层综采工作面在煤岩统采条件下,煤岩分界线自然裸露在外的特殊情况,采用基于图像处理的煤岩识别方法最为便捷。结合深度学习,在U-Net++网络的基础上,针对精度和效率进行改进,最终提出一种MRU-Net++网络模型,用于感知和精准识别极薄煤层综采工作面煤岩分界线。该模型通过“剪枝”技术对U-Net++结构进行优化,在最小化性能损失的同时减少模型的复杂度,选取剪枝后的U-Net++L3作为该网络模型基础结构;采用MobileNetV2轻量化网络,构建基于MobileNetV2的核心骨干网络,替代U-Net++原有的网络架构,显著降低了模型的参数数量,在保持模型简洁的同时,为U-Net++提供了一个强大的特征提取引擎,提高模型分割效率;同时引入含有通道注意力机制的ResNeSt模块来增强对煤岩图像边缘细节特征的提取能力,进一步提高分割精度。
2)利用液压支架上的防爆摄像仪,获取了具有煤岩分布信息的高清煤岩图像。针对极薄煤层井下低照度环境导致煤岩图像亮度过低进而影响图像分割效果的问题,提出了一种基于改进MSR与CLAHE融合的低照度图像增强算法,并通过其他图像增强措施对煤岩图像进行预处理,构建了极薄煤层井下极薄煤层综采面煤岩图像数据集。
3)基于自制极薄煤层综采面煤岩图像数据集,设置消融试验验证改进部分对网络对本研究提出的MRU-Net++网络性能的影响,并与FCN、U-Net++和U-net等相关基础网络模型进行对比,评估采用了PA和IOU等关键指标,全面衡量了各模型的煤岩识别性能,测试结果表明,MRU-Net++网络模型的PAM和IOUM分别为97.15%和94.16%,模型大小为25.71 M,每张图像平均测试用时为28.61 ms,在对比网络中表现最佳,充分证明了该模型在处理极薄煤层煤岩识别任务时的高效性和实用性,为极薄煤层综采工作面煤岩识别方法提供了新的研究思路和理论模型。
-
表 1 图像增强前后质量评估指标
Table 1 Quality assessment metrics before and after image enhancement
类别 均值 标准差 IE PSNR SSIM 原图像 58.75 37.81 6.98 — — 增强图像 101.64 42.73 7.32 27.38 0.82 表 2 试验环境配置
Table 2 Experimental environment configuration
试验环境 项目 参数 硬件 CPU Intel core i7−12700H 内存 16 G GPU NVIDIA GeForce RTX3060 显存 6 G 软件 操作系统 Windows 10 深度学习框架 PyTorch 2.0.1 CUDA 12.4 编程语言 Python 3.9 表 3 训练参数设置
Table 3 Training parameter settings
项目 数值 初始学习率 0.0001 BatchSize 8 Epoch 100 损失函数 交叉熵 表 4 “剪枝”方法消融试验对比结果
Table 4 Comparative results of the "pruning" method ablation tests
试验模型 IOUM/% 测试用时/(ms·张−1) 剪枝后的U-Net++L3 91.74 30.68 未剪枝的U-Net++ 92.43 44.36 表 5 骨干网络性能对比结果
Table 5 Backbone network performance comparison results
骨干网络 IOUM/% 测试用时/(ms·张−1) MobileNetV2 91.49 24.53 原U-Net++L3 91.74 30.68 表 6 ResNeSt模块消融试验对比结果
Table 6 Comparative results of the ResNeSt module ablation tests
试验模型 IOUM/% PAM/% 未引入ResNeSt模块 91.49 95.27 MRU-Net++ 94.62 97.38 表 7 各网络模型的内存及测试时间
Table 7 Memory and test time of each network model
网络模型 模型大小/M 测试用时/(ms·张-1) FCN 46.35 56.74 U-Net 31.24 39.43 U-Net++ 34.96 44.59 MRU-Net++ 25.71 28.61 表 8 PA评估得分
Table 8 PA evaluation score
项目 PA/% MRU-Net++ U-Net++ U-Net FCN 1 98.23 96.74 95.87 94.28 2 97.49 96.18 94.65 93.35 3 98.10 95.42 93.92 88.97 4 97.57 94.66 95.43 93.56 5 96.68 95.39 93.10 90.74 6 94.20 93.27 91.71 89.13 7 97.76 96.35 94.38 94.30 8 96.81 95.64 93.25 93.26 9 95.35 94.36 92.46 89.67 10 99.27 97.58 94.84 93.91 平均值 97.15 95.56 93.96 92.12 表 9 IOU评估得分
Table 9 IOU evaluation score
项目 IOU/% MRU-Net++ U-Net++ U-Net FCN 1 95.19 94.34 93.77 93.31 2 94.37 92.96 89.95 87.49 3 93.80 93.47 92.89 85.72 4 94.49 95.16 93.51 91.83 5 92.99 89.75 88.63 89.25 6 91.58 87.54 86.12 85.98 7 95.87 94.21 94.80 93.79 8 94.42 93.82 92.31 92.64 9 92.21 88.43 87.69 86.85 10 96.68 95.46 94.52 95.37 平均值 94.16 92.51 91.42 90.18 -
[1] 汤家轩,刘具,梁跃强,等. “十四五” 时期我国煤炭工业发展思考[J]. 中国煤炭,2021,47(10):6−10. doi: 10.3969/j.issn.1006-530X.2021.10.002 TANG Jiaxuan,LIU Ju,LIANG Yueqiang,et al. Thoughts on the development of China’s coal industry during the 14th Five-Year Plan period[J]. China Coal,2021,47(10):6−10. doi: 10.3969/j.issn.1006-530X.2021.10.002
[2] 王国法. 煤矿智能化最新技术进展与问题探讨[J]. 煤炭科学技术,2022,50(1):1−27. doi: 10.3969/j.issn.0253-2336.2022.1.mtkxjs202201001 WANG Guofa. New technological progress of coal mine intelligence and its problems[J]. Coal Science and Technology,2022,50(1):1−27. doi: 10.3969/j.issn.0253-2336.2022.1.mtkxjs202201001
[3] 翟雨生,史春祥,吕晓,等. 薄煤层滚筒式采煤机发展现状及关键技术[J]. 煤炭工程,2020,52(7):182−186. ZHAI Yusheng,SHI Chunxiang,LYU Xiao,et al. Development status and key technologies of thin coal seam drum shearer[J]. Coal Engineering,2020,52(7):182−186.
[4] 秦涛,张腾,刘永立. 极薄煤层智能开采关键技术进展分析[J]. 煤炭技术,2023,42(6):45−48. QIN Tao,ZHANG Teng,LIU Yongli. Analysis on key technology progress of intelligent mining in extremely thin coal seam[J]. Coal Technology,2023,42(6):45−48.
[5] 鲍久圣,张可琨,王茂森,等. 矿山数字孪生 MiDT:模型架构、关键技术及研究展望[J]. 绿色矿山,2023,1(1):166−177. BAO Jiusheng,ZHANG Kekun,WANG Maosen,et al. Mine digital twin:Model architecture,key technologies and research prospects[J]. Journal of Green Mine,2023,1(1):166−177.
[6] 王国法,刘峰,庞义辉,等. 煤矿智能化:煤炭工业高质量发展的核心技术支撑[J]. 煤炭学报,2019,44(2):349−357. WANG Guofa,LIU Feng,PANG Yihui,et al. Coal mine intellectualization:The core technology of high quality development[J]. Journal of China Coal Society,2019,44(2):349−357.
[7] 张科学,李首滨,何满潮,等. 智能化无人开采系列关键技术之一:综采智能化工作面调斜控制技术研究[J]. 煤炭科学技术,2018,46(1):139−149. ZHANG Kexue,LI Shoubin,HE Manchao,et al. Study on key technologies of intelligent unmanned coal mining series Ⅰ:Study on diagonal adjustment control technology of intelligent fully-mechanized coal mining face[J]. Coal Science and Technology,2018,46(1):139−149.
[8] 王国法,庞义辉,任怀伟. 智慧矿山技术体系研究与发展路径[J]. 金属矿山,2022(5):1−9. WANG Guofa,PANG Yihui,REN Huaiwei. Research and development path of smart mine technology system[J]. Metal Mine,2022(5):1−9.
[9] 顾清华,江松,李学现,等. 人工智能背景下采矿系统工程发展现状与展望[J]. 金属矿山,2022(5):10−25. GU Qinghua,JIANG Song,LI Xuexian,et al. Development status and prospect of mining system engineering under the background of artificial intelligence[J]. Metal Mine,2022(5):10−25.
[10] 张强,张润鑫,刘峻铭,等. 煤矿智能化开采煤岩识别技术综述[J]. 煤炭科学技术,2022,50(2):1−26. ZHANG Qiang,ZHANG Runxin,LIU Junming,et al. Review on coal and rock identification technology for intelligent mining in coal mines[J]. Coal Science and Technology,2022,50(2):1−26.
[11] 贺艳军,李海雄,胡淼龙,等. 煤岩识别技术发展综述[J]. 工矿自动化,2023,49(12):1−11. HE Yanjun,LI Haixiong,HU Miaolong,et al. Overview of the development of coal rock recognition technology[J]. Journal of Mine Automation,2023,49(12):1−11.
[12] 王学文,王孝亭,谢嘉成,等. 综采工作面XR技术发展综述:从虚拟3D可视化到数字孪生的演化[J]. 绿色矿山,2024,2(1):76−85. WANG Xuewen,WANG Xiaoting,XIE Jiacheng,et al. Review of XR technology development in fully mechanized mining faces:From 3D visualization to digital twin[J]. Journal of Green Mine,2024,2(1):76−85.
[13] HUILING G,XIN L. Coal-rock interface recognition method based on image recognition[J]. Nature Environment & Pollution Technology,2019,18(5):1627−1633.
[14] MENG H L,LI M. Characteristic analysis and recognition of coal-rock interface based on visual technology[J]. International Journal of Signal Processing,Image Processing and Pattern Recognition,2016,9(4):61−68. doi: 10.14257/ijsip.2016.9.4.06
[15] WANG H J,ZHANG Q. Dynamic identification of coal-rock interface based on adaptive weight optimization and multi-sensor information fusion[J]. Information Fusion,2019,51:114−128. doi: 10.1016/j.inffus.2018.09.007
[16] 田慧卿,魏忠义. 基于图像识别技术的煤岩识别研究与实现[J]. 西安工程大学学报,2012,26(5):657−660. doi: 10.3969/j.issn.1674-649X.2012.05.023 TIAN Huiqing,WEI Zhongyi. The research and implementation of coal and rock identification based on image recognition technology[J]. Journal of Xi’an Polytechnic University,2012,26(5):657−660. doi: 10.3969/j.issn.1674-649X.2012.05.023
[17] 章华,李振璧,姜媛媛. 基于图像纹理的煤岩识别研究[J]. 煤炭技术,2015,34(7):120−121. ZHANG Hua,LI Zhenbi,JIANG Yuanyuan. Study on coal and rock identification based on image texture[J]. Coal Technology,2015,34(7):120−121.
[18] 伍云霞,田一民. 基于字典学习的煤岩图像特征提取与识别方法[J]. 煤炭学报,2016,41(12):3190−3196. WU Yunxia,TIAN Yimin. Method of coal-rock image feature extraction and recognition based on dictionary learning[J]. Journal of China Coal Society,2016,41(12):3190−3196.
[19] 伍云霞,田一民. 基于最大池化稀疏编码的煤岩识别方法[J]. 工程科学学报,2017,39(7):981−987. WU Yunxia,TIAN Yimin. A coal-rock recognition method based on max-pooling sparse coding[J]. Chinese Journal of Engineering,2017,39(7):981−987.
[20] 张斌,苏学贵,段振雄,等. YOLOv2在煤岩智能识别与定位中的应用研究[J]. 采矿与岩层控制工程学报,2020,2(2):94−101. ZHANG Bin,SU Xuegui,DUAN Zhenxiong,et al. Application of YOLOv2 in intelligent recognition and location of coal and rock[J]. Journal of Mining and Strata Control Engineering,2020,2(2):94−101.
[21] 司垒,王忠宾,熊祥祥,等. 基于改进U-net网络模型的综采工作面煤岩识别方法[J]. 煤炭学报,2021,46(S1):578−589. SI Lei,WANG Zhongbin,XIONG Xiangxiang,et al. Identification method of coal and rock in fully mechanized mining face based on improved U-net network model[J]. Journal of China Coal Society,2021,46(S1):578−589.
[22] 闫志蕊,王宏伟,耿毅德. 基于改进DeeplabV3+和迁移学习的煤岩界面图像识别方法[J]. 煤炭科学技术,2023,51(S1):429−439. YAN Zhirui,WANG Hongwei,GENG Yide. Coal-rock interface image recognition method based on improved DeeplabV3+ and transfer learning[J]. Coal Science and Technology,2023,51(S1):429−439.
[23] 高峰,殷欣,刘泉声,等. 基于塔式池化架构的采掘工作面煤岩图像识别方法[J]. 煤炭学报,2021,46(12):4088−4102. GAO Feng,YIN Xin,LIU Quansheng,et al. Coal-rock image recognition method for mining and heading face based on spatial pyramid pooling structure[J]. Journal of China Coal Society,2021,46(12):4088−4102.
[24] ZHOU Z,RAHMAN SIDDIQUEE M M,TAJBAKHSH N,et al. Unet++:A nested u-net architecture for medical image segmentation[C]//Deep Learning in Medical Image Analysis and Multimodal Learning for Clinical Decision Support:4th International Workshop,DLMIA 2018,and 8th International Workshop,ML-CDS 2018,Held in Conjunction with MICCAI 2018,Granada,Spain,September 20,2018,Proceedings 4. Springer International Publishing,2018:3−11.
[25] SANDLER M,HOWARD A,ZHU M,et al. Mobilenetv2:Inverted residuals and linear bottlenecks[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2018:4510−4520.
[26] ZHANG H,WU C,ZHANG Z,et al. Resnest:Split-attention networks[C]//Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 2022:2736−2746.
-
期刊类型引用(1)
1. 段彩达,杨新平. 基于accuracy技术的计算机网络安全防御系统分析. 电脑知识与技术. 2025(02): 74-77 . 百度学术
其他类型引用(0)