Scratch detection and restoration of coal photomicrograph via deep neural network
-
摘要:
煤岩显微组分的定量分析对客观评价煤的性质、质量进而实现煤炭的高效利用至关重要。然而，由于操作的不规范或刀具的破损，易造成煤光片中划痕的出现，影响进一步的自动化分析，而重新制作煤光片会造成人力和资源的浪费。鉴于此，为修复煤岩显微图像中的划痕区域，提出了基于深度学习的显微图像划痕检测与修复策略。首先，针对划痕检测设计了一种融合空间注意力与通道注意力的双注意力模型，充分挖掘煤岩显微图像的语义信息，并将其与U-Net语义分割网络融合，提高了划痕检测的准确性。然后，针对基于补丁匹配的图像修复算法会使煤岩划痕祛除区域与周围区域存在纹理差异的问题，设计了一种结合上下文注意力和生成对抗学习的煤岩显微图像修复网络。该网络自适应地为煤岩划痕区域填充合理内容，改善了图像修复质量。试验结果显示，划痕检测的平均像素准确度和平均交并比分别达到90.93%和83.95%，修复后的图像的峰值信噪比和结构性相似度分别达到43.29 dB和99.32%，相较于传统基于补丁匹配的算法，分别提高了8.76 dB和1.65%，验证了所提划痕检测与修复方法的有效性。
Abstract:Quantitative analysis of coal maceral is crucial for objectively evaluating the properties and quality of coal, thereby enabling its efficient utilization. However, due to irregularities in operation or broken tools, it is easy to cause the scratch of the polished grain mounts, which affects the further automatic analysis, and the re-making of the polished grain mounts will cause the waste of manpower and resources. In view of this, in order to repair scratch areas in coal photomicrographs, a deep learning-based photomicrographs scratch detection and repair strategy is proposed. Firstly, a dual-attention model combining spatial attention and channel attention is designed for scratch detection, which fully mines the semantic information of coal photomicrographs and integrates it with U-Net semantic segmentation network to improve the accuracy of scratch detection. Then, to address the issue of texture differences between the scratch-removed areas and surrounding areas in image repair algorithms based on patch matching, a coal photomicrographs restoration network combining contextual attention and generative adversarial learning is designed. The network adaptively fills the scratched area of coal with reasonable content and improves the quality of image restoration. Experimental results show that the average pixel accuracy and mean Intersection over Union for scratch detection reached 90.93% and 83.95%, respectively, while the peak signal-to-noise ratio and structural similarity (SSIM) of the repaired images reached 43.29 dB and 99.32%, respectively. Compared to traditional patch-matching-based algorithms, these represent improvements of 8.76 dB and 1.65%, respectively, verifying the effectiveness of the proposed scratch detection and repair method.
-
0. 引 言
煤岩显微组分组成与煤的理化性质（如活性和黏结性等）及工艺特性（如结焦性和机械强度等）密切相关[1]，其定量分析为全面科学地评价煤炭质量、指导煤炭的清洁高效利用提供了重要依据，相关课题引起了煤地质领域研究人员的极大兴趣。基于人眼在偏光显微镜下观察的传统方法，需要综合显微组分在油浸物镜、反射荧光等观察条件下的光学特性，不仅劳动强度大、耗时长，而且测试主观性强、速度慢、效率低，严重制约了煤岩显微参数的工业应用[2]。
近年来，随着计算机视觉技术的进步，国内外研究人员尝试利用图像处理技术取代传统基于人眼观察的方法对煤岩显微特性进行智能分析。以显微组分的识别为例，王培珍研究组[3-4]利用煤岩显微图像的纹理特征，分别构建了基于支持向量机、极限学习机等机器学习方法的煤岩显微组分分类模型，取得了一定的进展。SKIBA研究组[5-6]根据灰度和形态学梯度特征，使用多种分类器对三大显微组分组及无机矿物成分进行分类，获得了97.67%的准确率；然而，在其提取形状特征时，仍然需要人为分割出特定组分，难以实现自动化分析。WANG等[7]提出了基于图像分割和分类的研究思路，先使用由粗及细的聚类对煤岩显微图像进行分割，再对每个分割区域分别提取几何、灰度及纹理特征，实现了7种显微亚组分和背景树脂的分类。以镜质组反射率测定为例，BRIEN等[8]利用煤岩学特征分析低煤级烟煤镜质组的反射率。WANG等[9]基于随机森林和15个灰度特征预测平均最大镜质组反射率，均方根误差低至0.042。然而，目前主流的煤岩分析方法主要着眼于煤岩显微组分识别和镜质组反射率的测定，而没有充分考虑划痕、空洞等煤光片损伤对参数测定结果的影响。
尽管煤光片的制备工艺不断改进，但是由于人工操作不规范或刀具破损等原因，在煤光片制备过程中，其表面难免会产生划痕，干扰煤岩显微参数的定量分析。由于煤光片样本的制备过程工艺复杂，重新制备煤光片，不仅难以保证煤光片上不会出现划痕，而且会造成人力资源的极大浪费。鉴于煤光片表面的划痕多为直线段，一些学者提出首先采用直线检测算法定位煤岩显微图像中的划痕，获取划痕掩膜图像，然后利用图像修复算法祛除划痕的研究思路。朱宪坤等[10]利用霍夫变换算法检测出煤岩划痕并生成相应的掩膜图像，使用基于改进快速行进算法的图像修复方法实现对煤岩划痕的有效祛除。王洪栋等[11]对煤岩显微图像进行图像增强，提高了霍夫变换算法在煤岩划痕检测任务上的准确性，然后采用基于纹理合成的图像修复算法祛除煤岩显微图像中的划痕。李瑶等[12]利用U-Net对煤岩显微图像进行语义分割，并采用基于改进区域匹配的图像修复算法祛除煤岩划痕。目前，针对煤岩显微图像划痕检测的研究工作仍然以传统图像处理方法为主，大多通过提取形状、颜色、纹理等图像基本特征来实现对划痕的检测与定位，无法充分挖掘煤岩显微图像的语义信息，划痕检测准确率较低，对相似纹理的抗干扰性差，容易出现误检和漏检。近年来，基于深度学习的语义分割方法在自动驾驶、卫星遥感、医疗图像处理等领域取得了显著进展。该方法能够有效地挖掘图像的语义信息，并具备学习和理解深层特征信息的能力。越来越多的煤岩学者也逐渐将语义分割方法应用于煤岩学的研究工作中，取得了一系列成果。
传统的图像修复方法包括基于偏微分方程和纹理合成的修复方法，常用于古字画缺损修复、虚拟场景重建及目标物体移除[13-14]。基于偏微分合成的图像修复方法往往从目标区域边界向内部逐渐修复，直到目标区域被填充完成，常被用于较小区域的图像修复[15]。基于纹理合成的图像修复技术常被用于修复较大的破损区域，其中以Criminisi算法[16]最为典型。然而，煤岩显微图像包含了丰富的结构信息和纹理信息，传统图像修复算法缺乏对煤岩显微图像语义信息的理解，利用此类方法修复的煤岩划痕区域与周围的背景区域往往会存在比较明显的纹理差异。随着深度学习技术的发展，以生成对抗网络为基础的图像修复方法得到了广泛的应用[17-20]。生成对抗网络可以有效挖掘和理解图像的语义信息，在纹理修复的基础上对语义内容进行预测，使图像整体效果更加符合客观事实，弥补了早期图像修复算法的不足。
笔者重点研究如何利用深度学习方法检测并修复煤岩显微图像中的划痕，以便于煤岩参数的进一步分析。针对传统图像处理算法在煤岩划痕检测和修复任务中的不足，提出了一种融合空间注意力与通道注意力的并行双注意力模型，并将其嵌入到U-Net网络中用于煤岩划痕的定位。另外，提出了一种结合上下文注意力和生成对抗学习的煤岩显微图像修复网络，并验证了所提方法的有效性。
1. 煤岩划痕检测与修复算法
1.1 煤岩划痕检测方法
煤岩划痕在形成时具有随机性和异构性，其内部灰度级变化不均，外部轮廓通常具有宽窄交替的特点，传统的直线检测算法难以准确捕获煤岩划痕的语义信息，对灰度变化和宽窄交替的煤岩划痕进行检测时鲁棒性较低，易出现误检和漏检。近年来，基于深度学习的语义分割方法在地质检测、无人驾驶等领域中均取得了重大突破，煤岩学研究人员开始将语义分割方法应用于煤岩显微组分识别与含量鉴定中[21-22]。基于深度学习的语义分割方法能够自动挖掘对任务有益的特征信息，并能在一定程度上过滤与任务无关的干扰信息，检测性能较传统图像分割算法有了较大提高。鉴于此，提出基于语义分割的煤岩划痕检测方法，充分挖掘煤岩显微图像的语义信息，优化边缘细节，提高检测准确度，使得划痕检测结果更加符合客观事实。
在语义分割网络中，煤岩显微图像经过多次下采样后，深层特征信息丰富，但丢失了大部分浅层特征信息，然而浅层信息的引入可以使得划痕检测结果更加平滑、精细。因此，深层特征信息与浅层特征信息的有效融合对划痕缺陷的精准识别与定位具有重要意义。U-Net是基于全卷积神经网络改进的一个语义分割网络，最早应用于医学图像的语义分割[23]。U-Net独特的U型结构与跳跃连接操作可以将浅层特征信息与深层特征信息进行融合，使网络的输出不仅包含图像的深层特征信息，还补充了下采样过程中丢失的浅层特征信息，适用于煤岩划痕等小目标对象的检测任务。
划痕在煤岩显微图像中的分布具有随机性，往往会横跨不同的复杂背景区域，连续性会被邻近背景区域内的复杂纹理所干扰，这使得煤岩划痕的识别较为困难，易出现误检与漏检。如果不加以区分地提取煤岩显微图像的前景信息与背景信息会使得划痕检测性能无法达到理想水平。注意力机制是深度学习领域的研究热点，借鉴了人类快速筛选高价值信息采用的观察事物和思维的方式，具备从众多信息中挑选出对目标任务更关键的信息，过滤无关信息的能力。因此，在煤岩划痕检测任务中可以利用注意力模型获得对前景和背景的关注权重，更多关注对检测结果有益的特征信息，提高对前景目标的灵敏度，从而改善模型的泛化性能。空间注意力可以在空间维度上为感兴趣的区域分配更大关注权重，通道注意力则可以在通道维度上为对预测结果贡献较大的特征通道分配更大的关注权重[24]。
鉴于此，为了充分挖掘煤岩显微图像的语义信息，减少无关信息干扰，提高划痕检测的准确率，本文提出了一种基于并行机制的双注意力模块，包括空间注意力和通道注意力，如图1所示。其中，$ {{\boldsymbol{x}}_l} $为编码器的输出特征图，$ {{\boldsymbol{g}}_l} $为解码器的输出特征图。首先，采用大小为$ C_{\mathrm{m}} \times 1 \times 1 $ 的卷积层$ {W_1} $、$ {W_2} $对$ {{\boldsymbol{g}}_l} $、$ {{\boldsymbol{x}}_l} $进行通道变换，统一通道数后进行相加，并使用$ ReLU $激活函数对相加得到的特征图进行非线性变换，得到特征图$ {\boldsymbol{Z}} $，大小为 $ C_{\mathrm{m}} \times H_x \times W_x $。接着，将特征图$ {\boldsymbol{Z}} $作为空间注意力分支和通道注意力分支的输入，通过卷积变换和权重参数更新得到空间注意力参数矩阵$ {{\boldsymbol{\alpha}} _l} $和通道注意力参数矩阵$ {{\boldsymbol{\beta}} _l} $。然后，基于残差连接将$ {{\boldsymbol{x}}_l} $与$ {{\boldsymbol{\alpha}} _l} $、$ {{\boldsymbol{\beta}} _l} $分别进行相乘，并使用大小为$ C_x \times 1 \times 1 $的卷积层$ {W_5} $与$ {W_6} $对特征信息进行深入挖掘，得到空间注意力特征图$ {{\boldsymbol{Z}}_1} $与通道注意力特征图$ {{\boldsymbol{Z}}_2} $，大小均为$ C_x \times H_x \times W_x $。最后，对$ {{\boldsymbol{Z}}_1} $与$ {{\boldsymbol{Z}}_2} $进行逐元素相加，得到融合空间注意力和通道注意力的特征图$ {{\boldsymbol{Z}}_3} $，大小为$ C_x \times H_x \times W_x $。
针对煤岩划痕检测任务，提出一种融合双注意力机制的U型语义分割网络，并采用VGG16网络对U-Net的编码器进行优化，网络结构如图2所示。网络的特征提取模块采用VGG16网络中的部分卷积层（添加BN层，初始化加载在ImageNet数据集上预训练得到的权重），特征图$ {{\boldsymbol{f}}_0} $为原始煤岩显微图像经过2次$ 3 \times 3 $卷积后的特征输出，分辨率与煤岩显微图像保持一致，通道数为32。特征图$ {{\boldsymbol{f}}_1} $、$ {{\boldsymbol{f}}_2} $、$ {{\boldsymbol{f}}_3} $、$ {{\boldsymbol{f}}_4} $分别对应煤岩显微图像输入至VGG16网络中的前4次最大值池化后的输出特征图，分辨率为原始煤岩显微图像的1/2、1/4、1/8、1/16，通道数为64、128、256、512。在解码过程中，网络的跨越连接信号和上采样信号经过双注意力模块后获得已经分配好关注权重的输出特征图，然后将其与解码过程中上采样得到的输出特征图进行拼接，再通过对煤岩显微图像的密集预测来实现对划痕的检测与定位。
1.2 煤岩显微图像修复方法
传统的图像修复方法在煤岩显微图像的背景中匹配补丁，易造成明显的纹理缺失，使得补全区域无法产生和上下文语义关联的组分信息[25]。煤岩显微图像中的划痕通常会随机出现在多个背景区域，而且不同背景区域之间的纹理和结构具有明显的区别，基于补丁匹配的图像修复方法效果较差。受基于深度学习的图像修复方法的启发，本文提出了基于上下文注意力和生成对抗模型的生成式煤岩显微图像修复网络，为划痕区域的补全提供纹理信息和结构信息，提高图像修复质量。
煤岩显微图像修复任务重点关注生成的填充图像是否符合煤岩划痕所在区域对应显微组分的物理特征，需要根据不同的组分生成与之匹配的灰度和形态。提出的煤岩显微图像修复网络由粗略修复网络和细化修复网络以及判别网络组成。网络的输入为含有随机掩膜的待修复图像，输出为细化修复网络的修复结果，如图3所示。
网络结构上，粗略修复网络和细化修复网络均采用轻量性门控卷积层来替换普通卷积，并利用空洞卷积层来扩大感受野。细化网络采用跳跃连接为图像生成提供浅层信息先验来细化修复结果。细化网络的编码部分由2个并行网络分支组成，一个分支与粗略网络编码阶段相似，另一个分支通过引入上下文注意力层实现对深层特征语义相关性的编码。粗略修复网络为煤岩划痕区域生成了一些粗略的内容，并将粗修复图像作为细化修复网络的输入。判别网络的输入分别为图像修复的最终结果和完整的煤岩显微图像，通过采用谱归一化的全卷积网络对生成图像的真假进行判别，并通过优化生成网络真假判别的损失来指导新内容的生成。
煤岩显微图像修复网络中采用具有全局和局部感知能力的PatchGAN判别器[26]，使用谱归一化稳定训练过程，利用铰链损失（Hinge Loss）[27]作为判别输入图像真假的目标函数。生成网络和判别网络的对抗损失函数表示为
$$ {{L_G}} = - {{{E}}_{z{{\sim}}{{\rm P}_z}(z)}}\left[ {{{D}}({{G}}({{z}}))} \right] $$ (1) $$ \begin{gathered} {{L_D}} = {{{E}}_{{\boldsymbol{gt}}\sim{{\rm P}_{{{{\mathrm{data}}}}}}({\boldsymbol{gt}})}}\left[ {{{ReLU}}(1 - {{D}}({\boldsymbol{gt}}))} \right] + \\ \qquad {{{E}}_{{\boldsymbol{z}}\sim{{\rm P}_z}({\boldsymbol{z}})}}[{{ReLU}}(1 + {{D}}({{G}}({\boldsymbol{z}})))] \\ \end{gathered} $$ (2) $$ {{L_{{\mathrm{adv}}}}} = {{L_G}} + {{L_D}} $$ (3) 式中：$ {{L_G}} $为生成网络损失；$ {{L_D}} $为判别网络损失；$ {{L_{{\mathrm{adv}}}}} $为对抗损失；$ {\boldsymbol{z}} $为带有缺损区域的煤岩图像；$ {\boldsymbol{gt}} $为不含缺损区域的完整煤岩图像；$ {{G}} $为修复网络的生成器；$ {{D}} $为修复网络的判别器；$ {{E}} $为期望操作；$ {{ReLU}} $为损失函数。
通过减小煤岩显微图像在深层语义空间的差异，可以使得补全结果在灰度分布和组分形态上与真实图像更加接近。除对抗损失之外，本文采用像素级别的$ L_1 $距离作为图像补全的重建损失$ {{L}}_{{\mathrm{rec}}} $，利用该损失衡量补全图像与事实图像之间的误差，具体表达式如下：
$$ {{L}}_{{\mathrm{rec}}} = {{E}}{\left\| {{{G}}({\boldsymbol{z}}) - {\boldsymbol{gt}}} \right\|_1} $$ (4) 式中：$ {{G}}({\boldsymbol{z}}) $为补全图像。
煤岩显微图像修复网络的总体损失函数由重建损失以及对抗损失构成，表达式如下：
$$ {{L}}_{{\mathrm{Total}}} = {{\lambda}}_{{\mathrm{rec}}}{{L}}_{{\mathrm{rec}}} + {{L}}_{{\mathrm{adv}}} $$ (5) 式中：$ {{L}}_{{\mathrm{Total}}} $为总体损失；$ {{\lambda}}_{{\mathrm{rec}}} $表为示重建损失权重系数（本文中将系数设置为100）。可根据具体情况对权重系数进行合理设置起到平衡损失的作用，避免产生不必要的伪影和噪声，提高图像修复质量。
1.3 评价指标
本文使用平均像素准确度和平均交并比对划痕检测的准确性进行评估，二者是语义分割任务中最常用的评价指标。假设图像中共有k+1个类别（包含背景类），$ {P_{ii}} $定义为标签为类别$ i $且被预测为类别$ i $的像素数量；$ {P_{ij}} $表示属于类别$ i $但被预测为类别$ j $的像素数量。
1)平均像素准确度（MPA），表示为每个类别中被正确预测像素数的比例在所有类别上的平均值。
$$ {\mathrm{MPA}} = \frac{1}{{k + 1}}\sum\limits_{i = 0}^k {\frac{{{P_{ii}}}}{{\displaystyle \sum\limits_{j = 0}^k {{P_{ij}}} }}} $$ (6) 2)平均交并比（MIOU），表示为真实值与预测值所在2个集合的交集与并集之比在所有类别上的平均值。
$$ {\mathrm{MIOU}} = \frac{1}{{k + 1}}\sum\limits_{i = 0}^k {\frac{{{P_{ii}}}}{{\displaystyle \sum\limits_{j = 0}^k {{P_{ij}}} + \displaystyle \sum\limits_{j = 0}^k {{P_{ji}} - {P_{ii}}} }}} $$ (7) 采用峰值信噪比和结构相似性作为图像修复结果的评价指标。峰值信噪比是最常用的图像质量客观评价指标，常用于图像压缩、重建等领域，数值越大表示失真越小。假设单通道的噪声图像$ K $和无噪声图像$ I $，2张图像间的均方误差定义为
$$ {\mathrm{MSE}} = \frac{1}{{mn}}{\sum\limits_{i = 0}^{m - 1} {\sum\limits_{j = 0}^{n - 1} {\left\| {I(i,j) - K(i,j)} \right\|^2} } } $$ (8) 式中：$ MSE $为均方误差；$ m $、$ n $分别为图片的高和宽（单位：像素）；$ I(i,j) $和$ K(i,j) $分别为有噪声图像$ I $与无噪声图像$ K $对应坐标$ (i,j) $位置的像素。
峰值信噪比定义为
$$ {\mathrm{PSNR}} = 10{\lg}\left(\frac{{{\mathrm{MAX}}_I^2}}{{{\mathrm{MSE}}}}\right) = 20{\lg }\left(\frac{{{{\mathrm{MAX}}_I}}}{{\sqrt {{\mathrm{MSE}}} }}\right) $$ (9) 式中：$ {\mathrm{PSNR}} $为峰值信噪比；$ {{\mathrm{MAX}}_I} $为图像中可能的最大像素值。
结构相似性是另一种全参考的图像质量评价指标，它分别从亮度$ l $、对比度$ c $、结构$ s $三方面度量图像相似性，具体计算公式表示为
$$ l(x,y) = \frac{{2{\mu _x}{\mu _y} + {c_1}}}{{\mu _x^2 + \mu _y^2 + {c_1}}} $$ (10) $$ c(x,y) = \frac{{2{\sigma _x}{\sigma _y} + {c_2}}}{{\sigma _x^2 + \sigma _y^2 + {c_2}}} $$ (11) $$ s(x,y) = \frac{{{\sigma _{xy}} + {c_3}}}{{{\sigma _x}{\sigma _y} + {c_3}}} $$ (12) 式中：$ {\mu _x} $与$ {\mu _y} $分别为图像$ x $和图像$ y $的均值； $ {\sigma _x} $与$ {\sigma _y} $分别为图像$ x $和图像$ y $的标准差；$ {\sigma _{xy}} $为图像$ x $和图像$ y $的协方差；$ {c_1} $、$ {c_2} $、$ {c_3} $为常数，为了避免分母为0的情况，通常取$ {c_1} = {({\theta _1}L)^2} $，$ {c_2} = {({\theta _2}L)^2} $，$ {c_3} = {c_2}/2 $；$ L $表示灰度级，通常为255；$ {\theta _1} = 0.01 $，$ {\theta _2} = 0.03 $为默认值。一般情况下，结构相似性的具体计算公式可以表示为：
$$ {\mathrm{SSIM}} = l(x,y) \times c(x,y) \times s(x,y) $$ (13) 2. 试 验
2.1 试验数据与试验环境
煤岩显微图像采集自130个煤光片样本，原始图像大小为2 580×1 944像素，位深度为24。采用固定窗口对原始的130张高分辨率煤岩显微图像中的划痕缺陷所在区域进行裁剪，最终得到165张大小为$ 256 \;{\mathrm{px}}\times 256 \;{\mathrm{px}}$的煤岩划痕图像。煤岩划痕检测试验中，对煤岩划痕图像进行了人工标注，其中152张用于交叉验证（含训练集和测试集，8折交叉验证），13张用作验证集。在煤岩显微图像修复试验中，从原始的130张高分辨率煤岩显微图像中剪裁出480张不含划痕缺陷的图像，大小统一为$ 256 \;{\mathrm{px}}\times 256\;{\mathrm{px}} $。其中，450张不含划痕的显微图像用作训练集，这些图像被随机赋予不同形状的掩膜后送入图像修复网络。在训练过程中对模型参数进行学习和调整，以最小化修复结果与真实图像之间的差异。针对剩余30张无划痕的煤岩显微图像，从划痕标签中挑选30张划痕掩膜，并将二者拼接生成30张待修复图像用作测试集。进而，使用量化指标对测试集的修复结果与原始的30张无划痕图像进行对比，完成图像修复网络的性能评估。
鉴于煤岩显微图像的采集过程中相机拍摄的视角是固定的，数据集的规模和多样性等无法满足煤岩划痕检测与修复网络的训练要求，为此在训练过程中随机对图像进行翻转、旋转、平移、裁剪、颜色空间变换，保证数据的多样性，实现动态数据增强。
试验在一台搭载NVIDA GTX1080Ti的计算机上进行，基于PyTorch深度学习框架搭建煤岩划痕分割网络和煤岩显微图像修复网络，利用CUDA实现模型张量运算加速。试验中，输入图像的大小为$ 256 \times 256 $像素，在煤岩划痕分割网络训练中批处理大小设置为2，在煤岩显微图像修复网络的训练中批处理大小设置为4，使用Adam作为模型参数优化器，并利用余弦退火策略更新学习率。
2.2 试验结果
2.2.1 煤岩划痕检测
文中与3种常用的语义分割模型进行了性能比较，包括：① 全卷积网络(Fully Convolutional Network，FCN)、② SegNet、③ 金字塔场景解析网络(Pyramid Scene Parsing Network，PSPNet)。FCN是第一个用于语义分割的 CNN 架构，使用卷积层取代了传统卷积神经网络中的全连接层，能够接受任意尺寸的输入[28]。类似于U-Net，SegNet同样使用编码器-解码器架构，其利用合并索引来执行非线性上采样，消除了学习上采样的需求，减小了计算开销与内存占用[29]。PSPNet利用金字塔池化模块，充分发挥了全局上下文信息的能力[30]。
采用8折交叉验证方法来进行性能评估。从表1可以看出，所提方法在2个评价指标方面均表现最佳。平均像素准确度、平均交并比分别为90.93%，83.95%，优于其他3种方法。为了进一步验证所提方法的有效性，本文与经典的U型语义分割网络及其变形进行了对比。其中，U-Net表示经典U-Net模型；VGG-U-Net表示使用VGG16网络对U-Net的编码器进行优化；Attention U-Net表示Attention U-Net[31]模型，即在U-Net中嵌入注意力门；DA-U-Net表示在U-Net中嵌入双注意力模块；VGG-A-U-Net表示使用VGG16网络对U-Net的编码器进行优化，并嵌入Attention U-Net中的注意力门；VGG-DA-U-Net表示本文方法，使用VGG16网络对U-Net的编码器进行优化，并嵌入双注意力模块。试验结果见表2，本文方法在不显著增加模型参数的同时表现最佳，验证了采用VGG16网络进行优化与双注意力模块在划痕检测任务上的有效性。
表 1 基于不同语义分割模型的煤岩划痕检测性能Table 1. Performance of coal scratches detection based on different semantic segmentation models方法 平均像素准确度/% 平均交并比/% PSPNet 88.43 81.41 SegNet 88.80 81.74 FCN 89.91 82.26 本文模型 90.93 83.95 表 2 基于不同U型网络的煤岩划痕检测性能Table 2. Performance of coal scratches detection based on different U-shaped networks方法 参数量/M 平均像素准确度/% 平均交并比/% U-Net 34.5 90.16 83.29 VGG-U-Net 16.3 90.64 83.45 Attention U-Net 34.8 90.67 83.47 DA-U-Net 35.8 90.78 83.69 VGG-A-U-Net 16.4 90.82 83.76 VGG-DA-U-Net 16.6 90.93 83.95 图4形象化地展示了针对2个示例样本的划痕检测结果。每行图像从左至右依次为含有划痕的煤岩显微图像、划痕标签图像、基于不同语义分割模型的划痕检测结果和基于本文方法的划痕检测结果。观察不同模型的划痕检测结果可知，PSPNet、SegNet、FCN对细小划痕的检测性能较差，存在漏检和检测不全的问题。本文方法则可以有效地对细小划痕进行检测，保证了细小划痕的结构完整性，得到的结果与标签的一致性最好。
![]()
图 4 细小煤岩划痕语义分割结果示例Figure 4. Illustrative examples of the semantic segmentation results for tiny coal scratches部分煤岩显微组分呈现为窄长的带状，纹理特征与划痕相似，易与划痕混淆。针对含有煤岩组分纹理干扰的煤岩显微图像，本文对不同的语义分割网络进行了对比分析。如图5所示，每行图像从左至右依次为含有划痕的煤岩显微图像、划痕标签图像、基于不同语义分割模型的划痕检测结果和基于本文方法的划痕检测结果。观察图5c—图5e可知，PSPNet、SegNet、FCN在对存在纹理干扰的煤岩显微图像进行检测时，抗干扰能力较差，无法有效区分划痕与干扰成分，易出现误检与漏检。观察图5f可知，本文方法具有较强的抗干扰能力，可以较好地区分划痕附近具有相似特征的煤岩显微组分，预测结果更接近真实结果。
![]()
图 5 煤岩组分纹理干扰的煤岩划痕语义分割结果示例Figure 5. Illustrative examples of semantic segmentation results with texture interference of macerals2.2.2 煤岩划痕修复
为了评估不同图像修复方法的性能，在煤岩显微图像数据集上分别采用补丁匹配算法、DeepFillv2和本文方法对待修复的煤岩显微图像进行测试。补丁匹配是图像修复领域的一种常用方法，主要利用整张图像或图像中存在的与待修复区域最匹配的补丁来实现对目标区域的填充与修复。DeepFillv2是一种典型的生成式图像修复方法，通过引入门控卷积与生成对抗机制，解决了缺失区域为任意形状时的空洞问题，提高了图像修复质量[32]。
本文采用峰值信噪比和结构相似性作为评价指标来对煤岩显微图像的修复结果进行评估。由表3可以看出，采用生成式图像修复模型的煤岩显微图像修复结果相较于补丁匹配算法获得了明显的改善，其中DeepFillv2的峰值信噪比和结构相似性指标分别提高了8.11 dB和1.54%，本文所提模型的峰值信噪比和结构相似性指标分别提高了8.76 dB和1.65%，表明本文模型的修复结果更好。
表 3 基于不同修复方法的煤岩显微图像修复性能Table 3. Restoration performance of coal photomicrograph based on different restoration methods方法 峰值信噪比/dB 结构相似性/% 补丁匹配 34.53 97.67 DeepFillv2 42.64 99.21 本文方法 43.29 99.32 将含有划痕的煤岩显微图像与检测得到的划痕掩膜进行拼接后生成的图像作为待修复图像，分别采用补丁匹配算法和基于生成对抗模型的图像修复网络对缺失区域进行补全，即先利用语义分割模型获取煤岩划痕掩膜，然后将获得的划痕掩模覆盖在煤岩划痕图像的对应位置上，然后利用图像修复网络实现划痕目标的修复。如图6所示，每行图像从左至右依次为带有划痕的煤岩显微图像、煤岩显微图像和划痕掩膜的拼接图像、基于补丁匹配算法的煤岩显微图像修复结果、基于DeepFillv2的煤岩显微图像修复结果、基于本文方法的煤岩显微图像修复结果，图中左下方的绿色矩形框为同幅图像内红色矩形框的放大内容。从图中可以观察到，传统的补丁匹配算法对划痕掩膜所在区域进行了比较完整的填充，但在煤岩组分的纹理与结构出现明显变化时，更倾向于保证补丁区域内的局部平滑性，却忽略了图像整体的平滑性与合理性。生成式模型具有全局和局部特征理解能力，生成图像包含丰富的语义信息。然而，对应标注区域2，DeepFillv2的修复结果与周围区域存在较为明显的上下文语义信息不一致现象。图6e中，提出的煤岩显微图像修复模型跨区域生成了与原有纹理相似的内容，修复后的煤岩显微图像在整体内容和局部细节上更加合理。
![]()
图 6 煤岩划痕图像修复示例Figure 6. Illustrative examples of image restoration for coal scratches3. 结 论
1)设计了融合双注意力模块的U型语义分割网络，并将其用于煤岩显微图像中的划痕检测。实验结果表明，该方法能准确区分煤岩显微组分与划痕，平均像素准确度和平均交并比分别达到90.93%和83.95%，在煤岩显微图像划痕检测任务上表现出色。
2)引入生成对抗学习，融合上下文注意力，提出了一种由粗及细的煤岩显微图像修复网络，自适应地为煤岩划痕区域填充较为合理的内容。相较于传统基于补丁匹配的算法，所提模型的峰值信噪比和结构相似性指标分别提高了8.76 dB和1.65%。修复后的煤岩显微图像更符合客观事实，修复后的图像在整体上更具有一致性与合理性。
3)实验结果充分证明了语义分割网络和生成对抗网络在煤岩显微图像划痕检测与修复任务上的有效性。这不仅为深化煤岩学研究提供了可靠手段，也为相关领域的技术应用奠定了坚实基础。然而，需要指出的是，本研究使用的数据集在多样性上存在局限，未能全面覆盖煤岩显微结构的所有潜在变化。为了克服这些限制，未来的研究将着重于扩充数据集，引入更具挑战性的样本，并进一步加强对模型鲁棒性的深入探究。
-
![]()
图 4 细小煤岩划痕语义分割结果示例
Figure 4. Illustrative examples of the semantic segmentation results for tiny coal scratches
![]()
图 5 煤岩组分纹理干扰的煤岩划痕语义分割结果示例
Figure 5. Illustrative examples of semantic segmentation results with texture interference of macerals
![]()
图 6 煤岩划痕图像修复示例
Figure 6. Illustrative examples of image restoration for coal scratches
表 1 基于不同语义分割模型的煤岩划痕检测性能
Table 1 Performance of coal scratches detection based on different semantic segmentation models
方法 平均像素准确度/% 平均交并比/% PSPNet 88.43 81.41 SegNet 88.80 81.74 FCN 89.91 82.26 本文模型 90.93 83.95 
下载: 导出CSV
表 2 基于不同U型网络的煤岩划痕检测性能
Table 2 Performance of coal scratches detection based on different U-shaped networks
方法 参数量/M 平均像素准确度/% 平均交并比/% U-Net 34.5 90.16 83.29 VGG-U-Net 16.3 90.64 83.45 Attention U-Net 34.8 90.67 83.47 DA-U-Net 35.8 90.78 83.69 VGG-A-U-Net 16.4 90.82 83.76 VGG-DA-U-Net 16.6 90.93 83.95
下载: 导出CSV
表 3 基于不同修复方法的煤岩显微图像修复性能
Table 3 Restoration performance of coal photomicrograph based on different restoration methods
方法 峰值信噪比/dB 结构相似性/% 补丁匹配 34.53 97.67 DeepFillv2 42.64 99.21 本文方法 43.29 99.32
下载: 导出CSV
-
[1] 白向飞. 炼焦煤性质与分类及煤岩学应用[J]. 煤质技术,2021,36(6):6−12. BAI Xiangfei. Properties and classification of coking coal and its application in coal petrology[J]. Coal Quality Technology,2021,36(6):6−12.
[2] 王 越,丁 华,武琳琳,等. 煤岩显微组分自动识别技术现状及关键问题分析[J]. 煤质技术,2019,34(1):1−4,15. doi: 10.3969/j.issn.1007-7677.2019.01.001 WANG Yue,DING Hua,WU Linlin,et al. Study on the technical route and key factors of automatic coal maceral determination[J]. Coal Quality Technology,2019,34(1):1−4,15. doi: 10.3969/j.issn.1007-7677.2019.01.001
[3] 王培珍,翟羽佳,王 慧,等. 基于曲波变换和压缩感知的煤岩惰 质组分类[J]. 中国矿业大学学报,2019,48(5):1119−1125. WANG Peizhen,ZHAI Yujia,WANG Hui,et al. Classfication for inertinite of coal based on curvelet transform and compressed sensing[J]. Journal of China University of Mining & Technology,2019,48(5):1119−1125.
[4] 王培珍,殷子睆,王 高,等. 一种基于 PCA 与 RBF-SVM 的煤岩显微组分镜质组分类方法[J]. 煤炭学报,2017(4):977−984. WANG Peizhen,YIN Ziwan,WANG Gao,et al. A classification method of vitrinite for coal macerals based on the PCA and RBF-SVM[J]. Journal of China Coal Society,2017(4):977−984.
[5] SKIBA M,MłYNARCZUK M. Identification of macerals of the inertinite group using neural classifiers,based on selected textural features[J]. Archives of Mining Sciences,2018,63(4):827−837.
[6] MLYNARCZUK M,SKIBA M. The application of artificial intelligence for the identification of the maceral groups and mineral components of coal[J]. Computers & Geosciences,2017,103:133−141.
[7] WANG H,LEI M,CHEN Y,et al. Intelligent identification of maceral components of coal based on image segmentation and classification[J]. Applied Sciences,2019,9(16):3245. doi: 10.3390/app9163245
[8] O’BRIEN G,JENKINS B,OFORI P,et al. Semi-automated petrographic assessment of coal by coal grain analysis[J]. Minerals engineering,2007,20(5):428−434. doi: 10.1016/j.mineng.2006.11.006
[9] WANG H,LEI M,LI M,et al. Intelligent estimation of vitrinite reflectance of coal from photomicrographs based on machine learning[J]. Energies,2019,12(20):3855. doi: 10.3390/en12203855
[10] 朱宪坤,吕 青,王 芳,等. 基于改进 FMM 的煤岩表面划痕与孔洞处理[J]. 煤炭技术,2016(2):308−310. ZHU Xiankun,LYU Qing,WANG Fang,et al. Process of scratches and holes on coal surface based on improved FMM algorithm[J]. Coal Technology,2016(2):308−310.
[11] 王洪栋. 基于机器学习的煤岩显微图像分析研究[D]. 徐州:中国矿业大学,2019. WANG Hongdong. Research on photomicrograph analysis of coal based on machine learning[D]. Xuzhou:China University of Mining & Technology,2019.
[12] 李 瑶,冷思雨,雷 萌,等. 煤岩显微图像划痕检测与去除方法[J]. 工矿自动化,2021,47(5):95−100. LI Yao,LENG Siyu,LEI Meng,et al. Scratch detection and removal method for coal microscopic images[J]. Industry and Mine Automation,2021,47(5):95−100.
[13] 曹承瑞,刘微容,史长宏,等. 多级注意力传播驱动的生成式图像修复方法[J]. 自动化学报,2022,48(5):1343−1352. CAO Chengrui,LIU Weirong,SHI Changhong. Generative image inpainting with attention propagation[J]. Acta Automatica Sinica,2022,48(5):1343−1352.
[14] 张 东,唐向宏,张少鹏,等. 小波变换与纹理合成相结合的图像修复[J]. 中国图象图形学报,2015,20(7):882−894. doi: 10.11834/jig.20150704 ZHANG Dong,TANG Xianghong,ZHANG Shaopeng,et al. Image inpainting based on combination of wavelet transform and texture synthesis[J]. Journal of Image and Graphics,2015,20(7):882−894. doi: 10.11834/jig.20150704
[15] JAM J,KENDRICK C,WALKER K,et al. A comprehensive review of past and present image inpainting methods[J]. Computer vision and image understanding,2021,203:103147. doi: 10.1016/j.cviu.2020.103147
[16] YAO F. Damaged region filling by improved criminisi image inpainting algorithm for thangka[J]. Cluster Computing,2019,22(6):13683−13691.
[17] HEDJAZI M A,GENC Y. Efficient texture-aware multi-GAN for image inpainting[J]. Knowledge-Based Systems,2021,217:106789. doi: 10.1016/j.knosys.2021.106789
[18] CHEN Y,ZHANG H,LIU L,et al. Research on image inpainting algorithm of improved GAN based on two-discriminations networks[J]. Applied Intelligence,2021,51(6):3460−3474. doi: 10.1007/s10489-020-01971-2
[19] YI Z,TANG Q,AZIZI S,et al. Contextual residual aggregation for ultra high-resolution image inpainting[A]. Proceedings of the IEEE/CVF conference on computer vision and pattern recognition[C]. Seattle,USA. 2020:7508−7517.
[20] YU J,LIN Z,YANG J,et al. Generative image inpainting with contextual attention[A]. Proceedings of the IEEE conference on computer vision and pattern recognition[C]. Salt Lake City,2018:5505-5514.
[21] LEI M,RAO Z,WANG H,et al. Maceral groups analysis of coal based on semantic segmentation of photomicrographs via the improved U-net[J]. Fuel,2021,294:120475. doi: 10.1016/j.fuel.2021.120475
[22] IWASZENKO S,RÓG L. Application of deep learning in petrographic coal images segmentation[J]. Minerals,2021,11(11):1265. doi: 10.3390/min11111265
[23] RONNEBERGER O,FISCHER P,BROX T. U-net:Convolutional networks for biomedical image segmentation[C]. International conference on medical image computing and computer-assisted intervention. Springer,Cham,2015:234-241.
[24] NIU R,SUN X,TIAN Y,et al. Hybrid multiple attention network for semantic segmentation in aerial images[J]. IEEE Transactions on Geoscience and Remote Sensing,2021,60:1−18.
[25] BARNES C,SHECHTMAN E,FINKELSTEIN A,et al. PatchMatch:A randomized correspondence algorithm for structural image editing[J]. ACM Trans. Graph.,2009,28(3):24.
[26] SHIN Y G,SAGONG M C,YEO Y J,et al. Pepsi++:Fast and lightweight network for image inpainting[J]. IEEE transactions on neural networks and learning systems,2020,32(1):252−265.
[27] MOLITOR D,NEEDELL D,WARD R. Bias of homotopic gradient descent for the hinge loss[J]. Applied Mathematics & Optimization,2021,84(1):621−647.
[28] LONG J,SHELHAMER E,DARRELL T. Fully convolutional networks for semantic segmentation[A]Proceedings of the IEEE conference on computer vision and pattern recognitionC]. Boston,USA. 2015:3431−3440.
[29] BADRINARAYANAN V,KENDALL A,CIPOLLA R. Segnet:A deep convolutional encoder-decoder architecture for image segmentation[J]. IEEE transactions on pattern analysis and machine intelligence,2017,39(12):2481−2495. doi: 10.1109/TPAMI.2016.2644615
[30] ZHAO H,SHI J,QI X,et al. Pyramid scene parsing network[A]Proceedings of the IEEE conference on computer vision and pattern recognition[C]. Honolulu,USA. 2017:2881-2890.
[31] ZOU L,QIAO J,YU X,et al. Intelligent proximate analysis of coal based on near infrared spectroscopy and multi-output deep learning[J]. IEEE Transactions on Artificial Intelligence,2023,DOI: 10.1109/TAI.2023.3296714.
[32] YU J,LIN Z,YANG J,et al. Free-form image inpainting with gated convolution[A]. Proceedings of the IEEE/CVF international conference on computer vision[C]. Seoul,Korea. 2019:4471-4480.
计量
- 文章访问数: 45
- HTML全文浏览量: 0
- PDF下载量: 10
