0 引 言
我国是煤炭生产和消费大国，在煤炭的使用量上远超石油和天然气[1-2]。为了提高煤炭洗选效率和效益，迫切需要发展选煤自动化和智能化技术。近年来，基于γ射线、X射线成像光电及机器视觉的煤炭智能干选机的相关研究和应用日益增多，其节能、降耗、无水、性价比高等优势使其具有较大的市场应用前景，是煤炭干选领域重大技术突破，为我国干旱缺水地区的煤炭分选提供了一种全新的思路。
随着人工智能和深度学习算法的不断改进，其识别精度在众多行业已经得到了认可和推广，然而在矿业工程领域应用研究偏少。目前，机器视觉技术在国内外选矿领域的研究越来越普遍。RAMIL等[3]于RGB数据和人工神经网络对花岗岩形成矿物的识别研究，模型正确识别精度大约90%。MORAR等[4]通过机器视觉在浮选过程中控制泡沫深度和空气速率来平衡浓缩回收率，并对质量回收率和精矿品位进行准确测量。KISTNER等[5]利用纹理特征结合复杂的多尺度小波对工业铂族金属浮选泡沫和输送带上煤炭颗粒的模式识别性能进行提升。FU等[6]基于卷积神经网络对浮选泡沫图像识别，对获取的浮选泡沫图像进行卷积操作，构建浮选泡沫回收率和泡沫表面特征之间的关联模型，并使用AlexNet、VGG16和ResNet卷积神经网络分别构建模型进行对比分析，最终ResNet34模型以高达99.2%的正确识别率领先。DEISYS等[7]基于图像处理系统对焦炭燃烧反应性能的研究，由于煤粒在变成煤粉的过程中会有挥发性化合物释放，产生炭化颗粒，同时颗粒的形态会影响煤炭的燃烧反应性能，故通过图像处理手段对其性能进行预测和分析。
杨慧刚等[8]基于X射线扫描获取煤和矸石灰度信息并确定其分离阈值，达到分离煤和矸石的效果。林小竹等[9]通过分水岭变换分割算法与数学形态学腐蚀与膨胀、开运算与闭运算的联合使用对煤泥浮选泡沫进行有效分割并对分割后图像进行特征提取。金昊等[10]通过采集煤渣图像数据，经过CCD图像灰度处理、边缘识别和提取，特征值提取和标记等快速识别煤渣含碳量。陈科贵等[11]基于BP神经网络三叠统杂卤石层做精细识别，并构建模型，识别率达82.51%。徐述腾等[12]基于深度学习对吉林夹皮沟金矿和河北石湖金矿的黄铁矿、黄铜矿、方铅矿、闪锌矿等硫化物矿物构建Unet卷积神经网络模型，并有效自动提取矿相显微镜下矿石矿物的深层特征信息,实现镜下矿石矿物智能识别与分类。
近年来，基于图像传感器的煤炭智能干选技术备受关注，这是一种潜在的智能分选方法，具有广泛的应用前景。但目前大多仍采用一般模式识别算法，深度学习方法研究较少。因此，笔者基于深度学习算法构建多产品煤料图像分类模型，以探寻深度学习算法在煤炭智能干选技术方面的可行性。
1 试验材料与方法
1.1 煤样准备与图像采集
以无烟煤作为试验对象，并按照GB/T 478—1987对其进行浮沉试验，将煤样分为<1.40、1.40～1.60、1.60～1.80、>1.80 g/cm3的4个密度级，其灰分分别为5.38%、15.67%、30.89%、73.35%，作为低灰煤、中低灰煤、高灰煤和矸石4类产品待用。
图像采集系统及煤粒图像如图1所示。
图1 图像采集系统及煤粒图像
Fig.1 Image acquisition system and coal particle image
图像采集平台由计算机、工业相机、光源3部分组成。此次数据采集共1 061张煤粒图片，其中密度<1.40、1.40～1.60、1.60～1.80、>1.80 g/cm3的分别有213、283、276、289张。
1.2 数据增强算法
对于深度学习算法，为训练出较好的神经网络模型，须拥有数量多且质量高的数据作为支撑，以期让分类模型具有更好的泛化能力，有效避免过拟合。
深度学习(DL)一般采用数据增强算法对原始数据集进行位置变换处理，以达到增大数据集的效果。将每个煤粒图像进行左右翻转和180°旋转操作，使煤粒图像增加至3 183张，煤粒原图、左右翻转和旋转180°后的图像如图2所示。
图2 煤粒原图和上下翻转、旋转180°后的图像
Fig.2 Original image of coal particle and images after upside down and 180° rotation
1.3 深度学习原理
深度学习指多层神经网络上运用各种机器学习算法解决图像、文本等各种问题的算法集合[13]，其核心为特征学习，旨在通过分层网络获取分层次的特征信息，从而解决以往需要人工设计的重要难题。其主要包含卷积神经网络(CNN)、自动编码器(AE)、稀疏编码(SC)、限制玻尔兹曼机(RBM)、深信度网络(DBN)、多层反馈循环神经网络(RNN)等多种算法[14-16]。
深度学习基本网络结构，由输入层、隐含层、输出层3个部分构成，相较于传统神经网络拥有更深层次的网络结构，能够组合底层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。
随着人工智能技术的不断更新和发展，深度学习模型已从最初7层结构的LeNet发展到超过1 000层的Densenet，模型的精度也越来越高。但随着隐含层数量的持续增加，精度却不增反降，而且网络计算复杂度也越来越大，这是目前深度学习算法发展的瓶颈。为避免发生模型过大、数据集过小产生过拟合等问题，在进行网络模型构建时应挑选与数据集规模相匹配的网络模型[17-19]。
针对以上问题，挑选出隐含层数量和参数相对适宜的卷积神经网络Inception_v3作为网络模型，并结合迁移学习概念对数据进行训练、测试。笔者迁移训练过ImageNet的Inception_v3网络模型上的网络参数和权重，并用1个节点数为2 048的全连接层替换之前的全连接层，搭建深度学习分类模型，期间采用Dropout方法防止模型过拟合。
1.4 基于深度学习的煤料多产品分类模型构建
基于Tensorflow、Keras框架的卷积神经网络Inception_v3构建深度学习模型，隐含层共22层，整体深度学习网络结构如图3所示，模型包括输入层、卷积层、激活层、池化层、全连接层和输出层。
图3 整体深度学习网络结构示意
Fig.3 Schematic of overall deep learning network structure
数据集在Inception_v3模型中的训练步骤如下：
1)输入煤粒图片。将原图分辨率调节为299 pix×299 pix，将RGB三通道数据299 pix×299 pix×3的矩阵输入模型。
2)对输入的矩阵进行卷积。从训练的网络结构(表1)可知，输入的299 pix×299 pix×3的矩阵经过32个3 pix×3 pix大小的卷积核遍历之后，在无监督情况下自主提取煤粒图片的表面特征，输出的特征图大小为149 pix×149 pix。由于卷积核个数为32，故最终输出的数字化矩阵为149 pix×149 pix×32。
表1 inception_v3网络结构
Table 1 Network structure of inception_v3
类型尺寸(步长)/(pix×pix)图像输入尺寸/(pix×pix)卷积3×3(2)299×299×3卷积3×3(1)149×149×32卷积(带填充)3×3(1)147×147×32池化3×3(2)147×147×64卷积3×3(1)73×73×64卷积3×3(2)71×71×80卷积3×3(1)35×35×1923×inception3×3和1×1组合35×35×2885×inception3×3和1×1组合17×17×7682×inception3×3和1×1组合8×8×1 280全局池化8×88×8×2 048全连接logits1×1×2 048激活函数softmax分类器1×1×1 000
3)池化。池化层在连续的卷积层的中间，用于压缩数据和参数的量，其主要作用为特征降维，即把冗余信息剔除，将最重要的特征信息抽取出来，在一定程度上防止过拟合现象的产生。此结构采用的池化过滤器大小为3 pix×3 pix和8 pix×8 pix 2种类型。
4)激活函数。将卷积层输出结果进行非线性映射，此模型采用softmax激活函数，其数学形式为
(1)
式中：ai为softmax的第i个输出值；Zi为该网络的第i个输出；Zk为该网络的任意一个输出。
5)多次卷积和池化。通过多次卷积和池化，提取更易识别的特征，其中卷积核大小主要为3 pix×3 pix和1 pix×1 pix，取代了之前5 pix×5 pix大小的卷积核，不仅没有减弱其表达能力，而且还大幅减少了参数数量，节约了计算时间。
6)全连接层。将之前卷积提取的所有局部特
征重新通过权值矩阵形成完整的图。适当增加全连接层数量，有利于提升模型的非线性表达能力和学习能力。
7)输出层。将训练和验证完的数据集进行特征分类，以达到最终图像分类的目的[20-21]。
2 煤料图像分类结果讨论
2.1 基于深度学习的煤料多产品分类
将输入图片按8∶1∶1的比例分为训练集、测试集和验证集，并通过上述构建的Inception_v3卷积神经网络模型，各参数设置为：epochs=50 000，LR=0.01。将试验煤样分为两产品、三产品和四产品。
1)两产品：<1.80 g/cm3，>1.80 g/cm3。
2)三产品：<1.40 g/cm3，1.40～1.8 g/cm3，>1.80 g/cm3。
3)四产品：<1.40 g/cm3，1.40～1.60 g/cm3，1.60～1.80 g/cm3；>1.80 g/cm3。
经训练后模型测试精度和验证后的精度呈现出分类越多，模型精度越低的现象，两产品、三产品、四产品的测试精度分别为95.2%、93.6%、91.5%，验证精度分别为93.5%、91.3%、90.1%。因为产品类别越多，图像特征区分度越差，分类精度也越低。
煤粒图像在经过卷积过程中所提取的部分特征图像和融合后的特征如图4所示。
图4 卷积过程中的部分特征以及融合后的整体特征
Fig.4 Part of feature graph in the convolution process and feature graph after fusion
由图4可以看出，不同密度级煤粒图像的特征颜色和位置分布存在差异性，深度学习模型正是通过对这些特征差异性的识别进行多产品煤料分类。两产品分类训练过程的损失值和准确率的趋势如图5所示，可以看出，训练过程已经收敛，即训练充分。
图5 训练过程两产品损失值和准确率趋势
Fig.5 Trend of loss value and accuracy of two products during training
通过迁移学习建立的深度学习无烟煤多产品分类模型的测试精度和验证精度都在90%以上，且随产品数增加而略有降低，三类产品的验证精度分别为93.5%、91.3%和90.1%。结果表明煤粒密度级与其表面特征具有紧密联系，且深度学习算法能够较好地捕获不同产品间的差异性特征。
2.2 多分类算法效果对比分析
在提取煤粒表面颜色、光泽和纹理特征参数的基础上，采用常规的K最邻近分类(KNN)[22]、随机森林(RF)[23]和支持向量机(SVM)[24]对多产品煤料图像进行分类预测，其中2/3的数据集作为训练集，1/3的数据集作为测试集，随机选取各类别数据，每种分类器训练和测试5次，取其平均分类精度，并将其与深度学习分类精度进行对比分析。特征提取和筛选的50个表面特征参数如图6所示。
图6 50个煤粒表面颜色、光泽和纹理特征
Fig.6 Color,luster and texture features of fifty coal particle surface
基于上述3种分类器的煤料多产品分类准确率见表2，其中SVM的分类准确率最高，RF分类准确率次之，KNN分类准确率最低，但均低于基于深度学习的多产品分类模型。
表2 多分类算法分类准确率
Table.2 Classification accuracy based onconventional classifiers
分类器准确率/%两产品三产品四产品KNN82.678.574.4RF87.385.381.6SVM91.687.985.8DL93.591.390.1
由此可证明深度学习算法能够较好地捕获不同产品间的差异性特征，并对其进行精确分类，因此深度学习模型更适用于煤料多产品在线分类等相关工业应用。
3 结 论
1)针对网络模型的鲁棒性和泛化能力，提出了一种数据增强算法，对原始数据进行上下翻转和180°旋转，扩大原始数据集。
2)提出了一种基于深度学习的多产品煤料图像分类方法，在煤料图像数据增强的基础上，采用深度学习算法构建了卷积神经网络模型，并应用迁移学习的方法对不同煤料产品图像数据集进行训练和测试，直至训练过程的损失值和准确率趋于收敛，最后得出深度学习模型测试精度和验证精度均达到90%以上，且随产品数增加而略有降低，三类产品的验证精度分别为93.5%、91.3%和90.1%。同时利用特征融合方法对煤料图像进行分析，证明不同密度级煤料图像的特征颜色和位置分布存在明显差异性，揭示了该深度学习算法的分类机理。
3)通过对比常规分类模型(KNN,RF和SVM)对多产品煤料图像分类效果，表明深度学习模型精度最高，SVM分类模型其次，KNN分类模型分类效果最差，证明了深度学习在多产品煤料图像分类应用中的潜力。
[1] 杨林青,胡方坤.中国选煤技术的现状及发展[J].煤炭技术,2010,197(5)：109-111.
YANG Linqing,HU Fangkun.Status and development of coal preparation technology in China[J].Coal Technology，2010,197(5)：109-111.
[2] 贺雁鹏,黄庆享,曹 键.可视化矿山的发展现状及关键技术[J].煤炭科学技术,2019,47(4):32-37.
HE Yanpeng,HUANG Qingxiang,CAO Jian.Visualization of mine development status and key technologies[J].Coal Science and Technology,2019,47(4):32-37.
[3] RAMIL A,L
PEZ A J,POZO-ANTONIO J S,et al.A computer vision system for identification of granite-forming minerals based on RGB data and artificial neural networks[J].Measurement,2018,117:90-95.
[4] MORAR S H，HARRIS M C,BRADSHAW D J.The use of machine vision to predict flotation performance[J].Minerals，2012,36:31-36.
[5] KISTNER M,JEMWA G T,ALDRICH C.Monitoring of mineral processing systems by using textural image analysis[J].Minerals Engineering,2013,52:169-177.
[6] FU A,CHRIS A.Flotation froth image recognition with convolutional neural networks[J].Minerals Engineering,2019,132:183-190.
[7] DEISY C,EMANUELE T，JUAN B,et al.An image processing system for char combustion reactivity characterization[J].Computers in Industry,2019,106:60-70.
[8] 杨慧刚,乔志敏.基于X射线和机器视觉的煤与矸石分选系统设计[J].工矿自动化,2017,43(3)：85-89.
YANG Huigang,QIAO Zhimin.Design of coal and gangue sorting system based on X-ray and machine vision[J].Industry and Mine Automation,2017,43(3):85-89.
[9] 林小竹,谷莹莹,赵国庆.煤泥浮选泡沫图像分割与特征提取[J].中国学术期刊文摘,2007,32(14):114.
LIN Xiaozhu,GU Yingying,ZHAO Guoqing.Image segmentation and feature extraction of coal slime flotation foam[J].Chinese Science Abstracts,2007,32(14):114.
[10] 金 昊,严 方,黎 宾.一种基于机器视觉的煤渣含碳量快速自动检测技术[J].实验室研究与探索,2017(10):31-34.
JIN Hao,YAN Fang,LI Bin.Fast and automatic detection technology of cinder carbon content based on machine vision[J].Research and Exploration in Laboratory,2017(10):31-34.
[11] 陈科贵,刘 利,陈愿愿,等.BP神经网络在钻孔测井资料分类识别杂卤石中的研究[J].中国石油大学学报(自然科学版),2016,40(4):66-72.
CHEN Kegui,LIU Li,CHEN Yuanyuan,et al.Research on the classification and identification of hybrid halides by BP neural network in borehole logging data[J].Journal of China University of Petroleum(Edition of Natural Science),2016,40(4):66-72.
[12] 徐述腾,周永章.基于深度学习的镜下矿石矿物的智能识别实验研究[J].岩石学报,2018,34(11):80-88.
XU Shuteng,ZHOU Yongzhang.Experimental study on the intelligent identification of ore minerals under mirror based on deep learning[J].Acta Petrologica Sinica,2018,34(11):80-88.
[13] 孙志军,薛 磊,许阳明等.深度学习研究综述[J].计算机应用研究,2012,29(8):2806-2810.
SUN Zhijun,XUE Lei,XU Yangming,et al.Research review on deep learning[J].Application Research of Computers,2012,29(8):2806-2810.
[14] LECUN Y,BENGIO Y,HINTON G.Deep learning[J].Nature,2015,521(7553):436.
[15] SCHMIDHUBER J.Deep learning in neural networks:an overview[J].Neural Networks,2015,61:85-117.
[16] 余 涛.基于稀疏自编码器的手写体数识别[J].数字技术与应用,2017(1):66.
YU Tao.Handwritten number recognition based on sparse autoencoder[J].Digital Technology and Application,2017(1):66.
[17] PAN S J,TSANG I W,KWOK J T,et al.Domain adaptation via transfer component analysis[J].IEEE Transactions on Neural Networks,2011,22(2):199-210.
[18] YOSINSKI J,CLUNE J,BENGIO Y,et al.How transferable are features in deep neural networks?[J].Eprint Arxiv,2014,27:3320-3328.
[19] 石祥滨,房雪键,张德园等 基于深度学习混合模型迁移学习的图像分类[J].系统仿真学报,2016,28(1):167-173.
SHI Xiangbin,FANG Xuejian,ZHANG Deyuan,et al.Image classification based on deep learning hybrid model of transfer learning[J].Journal of System Simulation,2016,28(1):167-173.
[20] SZEGEDY C,VANHOUCKE V,IOFFE S,et al.Rethinking the inception architecture for computer vision[J].2016 IEEE Conference on Computer Vision and Pattern Recognition(CVPR),2016:2818-2826.
[21] 白 林,姚 钰,李双涛,等.基于深度学习特征提取的岩石图像矿物成分分析[J].中国矿业,2018,27(7):181-185.
BAI Lin,YAO Yu,LI Shuangtao,et al.Mineral composition analysis of rock image based on deep learning feature extraction[J].China Mining Magazine,2018,27(7):181-185.
[22] 张泽琳，杨建国，苏晓兰,等.基于图像分析的粗粒煤堆密度组成估计[J]，中国矿业大学学报,2013,42(5):851-858.
ZHANG Zelin,YANG Jianguo,SU Xiaolan,et al.Estimation of density distribution of coarse coal pile by image analysis[J].Journal of China University of Mining & Technology,2013,42(5):851-858.
[23] 胡峻峰.随机森林在板材表面缺陷分类中的应用[J].东北林业大学学报,2015,43(8):86-90.
HU Junfeng.Random forest in board surface defect classification[J].Journal of Northeast Forestry University,2015,43(8):86-90.
[24] ZHANG Zelin,YANG Jianguo,WANG Yulin, et al.Ash content prediction of coarse coal by image analysis and GA-SVM[J].Powder Technology,2014,268:429-435.
[25] 张泽琳.基于机器视觉的煤质快速分析方法研究[D].徐州：中国矿业大学,2014.
ZHANG Zelin.Fast analysis of coal property based on machine vision[D].Xuzhou：China University of Mining & Technology,2014.
