0 引 言
随着煤矿综采自动化的发展，综采工作面自动化系统逐步推广应用。综采工作面地质条件复杂，环境恶劣，通过视频监控系统能够直观形象地将工作面实时画面传输到地面监控中心，为矿井生产自动化提高有力的保障，也为矿井安全生产、调度指挥、科学决策提供不可或缺的依据[1-4]。综采工作面视频系统可实现对无人工作面的液压支架和采煤机等设备进行实时监测[5-6]。在工作面液压支架跟随采煤机自动控制的过程中，会出现由于工作面顶底板条件不好导致移架不到位的情况，巷道通过视频系统观察，采用远程操作台进行远程集中控制，从而实现工作面液压支架、采煤机等设备的远程集中遥控，实现液压支架跟随采煤机自动控制为主导，采煤机记忆割煤为主，以人工远程干预控制为辅助的煤矿综采无人化工作面开采模式[7-8]。支架实现跟机自动化功能后，受到工作面顶底板条件等周围复杂环境因素的制约，会出现液压支架移架不到位的情况，需要进行单个液压支架的调整，但由于在巷道监控中心配置的视频系统无法看到支架推移整个过程，也无法看到推移后位置效果的细节，导致实现液压支架的远程操作可以参考的视频信息不足，控制系统无法进行调整[9-11]。
目前井下视频监控系统不再满足于“看得清”的现状，更需要满足在采煤机割煤时的细节体现与更加智能的视频监控系统，并进行预置点巡扫对工作面进行智能监控，可针对感兴趣区域进行设备状态监测与工人违规操作，对运动的设备与人员进行光流法运动监测等智能功能，但是目前国内外对于视频监控系统尚未设计集云台与众多智能控制系统的一体化设备[12-13]。因此，亟待研究基于液压支架、采煤机等综采工作面设备远程遥控的智能云台视频系统，从而实现对运动中的液压支架、采煤机等设备进行随动监视与目标追踪。
1 云台摄像仪硬件构建
研究基于液压支架、采煤机等综采工作面设备远程遥控的视频系统，采用云台技术、目标定位技术与目标追踪技术，实现对运动中的液压支架、采煤机等设备进行随动监视，并应用于自动化工作面中[14-15]。在综采工作面的系统中，电源箱的输出功率受到严格限制，摄像仪产品占用的功率较高，影响了系统的可扩展性，而自动化的工作面需要布置的设备越来越多，单个设备功率较高时就不可避免地需要增加大量电源箱，从而会增加整个系统的成本。经云台摄像仪在多个煤矿工作面的实际应用，可实现比综采工作面视频系统无云台摄像仪的数量减少50%。构建的云台摄像仪如图1所示。
1.1 系统总体设计
随着数字信号处理器(DSP)的飞速发展为视频信号处理平台提供了便利。DSP的处理能力强，且开发周期短，可快速进行技术的个性化开发，同时低功耗设计也为井下应用提供了可靠保障。通过TMS320C6678平台处理图像传感器采集的视频信息，进行编码压缩并发送到网口输出。通过核心模块与电动机驱动芯片通信控制步进电动机进行云台控制，对直流电动机设计进行变焦控制。云台摄像仪通过网口，结合控件与对应开发的软件SDK，可在上位机侧进行摄像仪的云台控制、变焦控制、智能功能等功能。系统总体设计如图2所示。
图1 云台摄像仪
Fig.1 Cloud platform camera
图2 工作面智能云台系统总体设计
Fig.2 Overall design of intelligent cloud platform system in working face
1.2 视频编码压缩技术
工作面智能云台系统为实现DSP实时视频编码，通过研究H.265视频编码技术，包括预测编码、变换编码、熵编码及并行处理等核心技术，并基于TMS320C6678高性能DSP硬件平台上测试与优化实现。H.265可有效降低井下视频监控系统的存储成本与空间，使井下高清视频监控成为可能。H.265采用混合编解码，其编码划分结构采用CU(Coding Uint)、PU(Prediction Uint)和TU(Transform Uint)的递归结构，增加了Tile以及WPP等并行工具用于提高编码的速率，同时在去块滤波之后增加了SAO(Sample Adaptive Offset)滤波模块。H.265视频标准编码框架如图3所示。
图3 H.265视频标准编码框架
Fig.3 H.265 video standard coding framework
为便于工作面大量视频在有限信道内传输与存储，高压缩率的编码算法会导致重建视频时产生失真，造成有损压缩。编码比特率降低时会导致视频失真度增长，但为了获取工作面更多的细节，获取更高质量的视频又需要提供视频编码比特率，因此编码比特率与失真度相互制衡。率失真优化在满足图像给定的目标比特率限制下可获取最优的一组编码参数集，依靠此参数集可获取最佳重建视频质量。但该方法的计算复杂度极高，可通过拉格朗日优化方法等价为一个无约束问题：
(1)
其中：J为率失真代价；N为包含的图像数；Di,j和Ri,j分别为第i幅图像采用第j组编码参数产生的失真与比特数。J可以按编码顺序依次最小化Ji来实现。
(2)
其中：λ为拉格朗日算子；uij为最优编码参数。进一步调整为最小化。
Ji=Di+ωiλRi
(3)
(4)
因此，视频率失真优化可通过依次确定每帧图像的最优编码参数来实现，每帧图像通过ωi反应后续图像失真性能的依赖关系。
1.3 电动云台与调焦技术
根据煤矿井下工作面长度需求和摄像仪的视觉范围，研究电动云台与调焦最优动作。由于工作面距离较长，根据实际需要还要对摄像机的电动云台和变焦镜头进行控制。电动云台通常有水平旋转和俯仰旋转2个电动机可以进行正、反向旋转，通过TMC223电动机驱动芯片采用I2C的通信方式对步进电动机进行对矿井下的设备跟踪监控，不仅有效减少了需要在综采工作面布置的摄像仪数量，对于检测设备也可控制云台进行相关操作。
变焦镜头有光圈、聚焦、变倍3个直流电动机，3个电动机有1个公共接地端，在非公共端加正、负电压时电动机正、反向旋转。控制器发出的镜头控制信号实现上是对镜头的直流电动机的正向电压控制。
在摄像仪采集综采工作面的图像时，当通过云台来转动摄像仪，通常会因为一些关键部件的物距变化和相机的抖动而导致图像模糊。为了保证图像始终在清晰的状态下，就必须不断改变镜头的焦点位置，调整焦距，使成像面始终落在景深以内。一般的做法为对准被拍摄物使其位于画面的中央，直流电动机调节清晰度到最佳，利用锁定功能将焦距锁定在固定位置，再重新构图，使采集到的图像效果最佳。云台焦距控制如图4所示。
2 云台摄像仪软件设计
2.1 PELCO-P协议
由于PELCO协议在现有监控系统应用广泛，且PELCO有自己的传输控制协议，可以相互兼容，同时可用的资源和教程也比较多，最终选择PELCO-P协议作为云台协议。
图4 云台焦距控制示意
Fig.4 Control schematic of cloud platform focal length
PELCO协议内容包括云台控制命令、摄像机控制命令、辅助控制命令、预置位设置和调用命令。PELCO协议包含PELCO-P和PELCO-D协议。PELCO-P协议一般采用RS485传输，通信波特率为4 800 bit/s，包含1位起始位和停止位，8位数据位，无校验，通过在程序中配置PELCO-P的协议可直接在监控中心进行云台的上下左右控制。同时可以设置云台预置点，对指定的角度进行零位设置，当在上位机运行到比较感兴趣的位置，下次想直接转到该位置，可通过预置点直接进行摄像仪的转动。PELCO-P协议的数据位代表的功能含义见表1。
2.2 云台控制程序设计
考虑到综采工作面的巷道较长，纵向上不需要设计上下云台的动作，只需要在水平方向进行0°～180°旋转即可满足应用。通过初始化电动机驱动芯片，进行PELCOP协议命令的接收，但云台需要有参考位置，需要在云台转动90°和180°的位置上安装接收信号，当挡板遮挡接收信号时，即到达参考位置，从而实现云台角度旋转的校准。云台控制程序流程如图5所示。
表1 镜头焦距与照射角度对应
Table 1 Lens focal length and illumination angle
字节各数据位的字节开关量76543210字节30摄像机打开自动扫描摄像机打开/关闭光圈关闭光圈打开焦距拉近焦距拉远字节40视角变宽视角变窄下上左右0字节5—平移速度 0x00到 0x3F以及0x40——平移速度 0x00到 0x3F以及0x40字节6—上下移动速度0x00到 0x3F——上下移动速度0x00到 0x3F
图5 云台控制程序流程
Fig.5 Flow of cloud platform control program
2.3 云台预置点程序设计
工作面云台摄像仪使用中，通常根据需要转到指定的位置，这需要对云台摄像仪设置预置点程序，工作人员可远程进行转到指定角度。当云台自动巡检时，可根据预置点的信息设定1组或多组巡检路径，保障综采工作面安全高效生产，因此预置点设置程序尤为关键。云台预置点程序流程如图6所示。
图6 云台预置点程序流程
Fig.6 Flow of cloud platform preset program
2.4 智能功能程序设计
在综采工作面，视频系统除了作为远程干预的参考之外，还有一项重要的需求是能够记录人员活动，设备移动的状态。智能功能可保证对于矿下设备和人员行为进行实时拍摄，将移动侦测和区域入侵时的视频通过网络及时有效的传输和保存，为监督煤矿的安全生产和科学管理提供了有力保障。
可通过暗通道去雾方式在低照度环境下实现更清晰的工作面细节，为实现触发采集图像信息用于图像识别(工作面平直识别、直线度检测等)提供更优越的素材。可进行ROI感兴趣区域的设定，可对固定区域或划定区域内进行遮挡镜头情况报警或人员违章情况报警等。
1)暗通道去雾。在综采工作面无雾图像中，每一个局部区域都很有可能会有阴影，或者是黑色的，因此，每一个局部区域某些像素总会有至少一个颜色通道具有很低的值。图像去雾的模型为
I(x)=J(x)t(x)+A[1-t(x)]
(5)
其中：I(x)为需要处理的工作面采煤机工作时的图像；J(x)为恢复的去雾的图像；A为全球大气光成分；t(x)为折射率；x为某一图像。
将RGB三个通道用c表示，式(5)处理为
(6)
上述变换中默认将全球大气光A值设为已知，试验过程中需要依靠暗通道图从有煤尘的图像获取该值，即在暗通道图中按照亮度大小取前0.1%的像素，在这些像素位置上寻找最高亮度点的值作为A值。因此最终实现的公式为
(7)
其中，t0为透射率下限。通过求图像暗通道、利用暗通道计算出折射率、利用暗通道估计大气光、代回雾图公式去雾4步完成暗通道去雾过程。如图7a所示，采煤机工作时煤层影响较大，图像模糊，可经过暗通道去雾方法改善煤层情况，如图7b所示。
图7 暗通道去雾
Fig.7 Dark channel defogging map
2)ROI感兴趣区域设定。感兴趣区域的选取，一般有2种情形：已知ROI在图像中的位置和ROI在图像中的位置未知。在程序中添加OpenCV库，在OpenCV库中操作依赖鼠标的回调函数和响应函数实现。主函数中调用鼠标的回调函数，将鼠标操作与程序的窗口绑定，产生鼠标操作时回调函数调用鼠标响应函数执行，这种情况可在监控中心的上位机侧直接对图像进行划定ROI，对该区域的设备运行和人员检测进行特殊标定。在工作面监控图像中圈定ROI区域，监控采煤机是否进入指定区域，如图8所示。
图8 感兴趣区域圈定图
Fig.8 Delineation of interest areas
3)光流法运动检测。光流法检测运动目标，其基本思想是赋予图像中的每一个像素点一个速度矢量，从而形成了该图像的运动场。图像上的点和三维物体上的点在某一特定的运动时刻是一一对应的，根据各像素点的速度矢量特征对图像进行动态的分析。当物体和图像背景中存在相对运动时，运动物体所形成的速度矢量则必然不同于邻域背景的速度矢量，从而将运动物体的位置检测出来。如黄色部分为支架降架时光流法拟合光流场动作如图9所示。
图9 支架降架光流法拟合
Fig.9 Fitting diagram of the optical flow method of the support dropper
通过获得第n帧图像I(x,n)和第n+1帧图像I(x,n+1)，对取得的图像去噪，分别得到去噪后图像I′(x, n)和I′(x, n+1)。利用第n帧和n+1帧的去噪图像I′(x, n)和I′(x, n+1)计算得到光流场，从而计算得到局部动能场K(n)。利用边缘检测算法分割图像得到不同的运动单元，由于目标一般较背景小，故提取出体积较小运动单元作为检测目标，计算其质心作为目标位置，然后最下一帧图像，依次重复上述步骤，直至检测结束。
3 摄像仪工作面试验
3.1 云台测试试验
云台摄像仪真正应用到工作面中需要在多个工作面验证其功能特性及其稳定性。如图10a所示，在黄陵、兖矿等煤矿井下对工作面线缆槽上安装的结构灯装置进行直线度检测时，采集到的关键直线度检测信息趋于图像的边缘，不利于直线拟合图提取，通过转动云台摄像仪后，如图10b所示，摄像仪采集到的关键直线度检测信息位于图像的正中央，方便后期应用数字图像处理技术进行直线度检测和提取，对工作面直线度检测应用提供有效素材。
3.2 自动变焦试验
通过变焦可有效调整云台运动后采集图像的稳定性和清晰度，如图11、图12所示可显示出自动变焦的重要性。
图10 云台测试试验
Fig.10 Cloud platform test
图11 面向煤壁变焦试验
Fig.11 Experimental face for coal wall zoom
如图11所示面向煤壁的图像环境较暗，图11a为云台摄像仪转向90°，面向煤壁时尚未进行变焦的图像，很模糊，甚至看不清楚煤的亮泽度，通过图11b可以看出，变焦后效果明显改善，可看清楚煤壁的图像细节。如图12所示为云台摄像仪转向工作面，由于光谱不好的强光照射，摄像仪转动后焦距尚未调整好，如图12a所示，经自动调整焦距后的状态如图12b所示，即使在强光下依然能看清工作面的场景。
图12 工作面强光变焦试验
Fig.12 Bright light zoom experiment of working face
3.3 智能功能试验
采煤机工作时的场景如图13a所示，可以看出工作面的煤尘特别严重，雾化现象较为严重，暗通道去雾后的效果如图13b所示。
感兴趣区域的构建如图14a所示，通过构建感兴趣区域可进行制定位置设备运行状态监测与人员违章行为监测等，起到实时预警的功能，结合图8可以看出，采煤机工作时未进入设置好的ROI区域时，区域显示梅红色，但是如图14a所示采煤机工作时进入到ROI区域，设定区域变为正红色，且会将报警信息返回到后台提示。
图13 暗通道去雾试验
Fig.13 Dark channel fogging experiment
图14 ROI及光流法试验
Fig.14 Experimental drawing of ROI and light flow method
光流法运动跟踪支架如图14b所示，当执行支架电液控执行跟机自动化功能时，采煤机工作过程中，对应架的若干支架需要联动，但是联动位置不到位或故障时需要预警。从图中可以看到实时运动点和运行轨迹，当工作面支架进行动作时可以实时跟踪支架运行轨迹，对运行不到位的支架与故障支架进行及时感知。
4 结 论
1)通过对摄像仪硬件结构的整体构建，研究基于DSP的H.265视频压缩方法，工作面应用中可看到图像上传速度较快，占用空间较小。
2)选择相应的云台协议对云台控制进行开发，保证了摄像仪云台具备至单向的180°的旋转能力，支持最低的可调整角度为1°，且支持预置点巡检。
3)在煤尘较大的工作面(以影响视频效果为评估标准，若煤尘影响摄像仪观测对象，则认为属于煤尘较大的工作面)，摄像仪需具有一定的暗通道去雾功能，视频效果有明显提升，减轻煤尘对工作面观测对象的影响，并能够较为清晰地观测到观测对象的动作。
4)通过在工作面试验可看出摄像仪对于指定感兴趣区域内的人员或设备的运动跟踪检测有较好效果。
5)后期需要解决摄像机镜头的防尘问题，长时间工作镜头会被煤岩粉尘污染，影响图像采集，需要研究纳米雨刷清理摄像仪镜头问题。
[1] 王国法，杜毅博. 智慧煤矿与智能化开采技术的发展方向[J]. 煤炭科学技术, 2019, 47(1): 1-10.
WANG Guofa，DU Yibo. Development direction of intelligent coal mine and intelligent mining technology [J]. Coal Science and Technology, 2019, 47(1): 1-10.
[2] 黄兰英，李壮福，杨景芬，等. 煤层厚度预测技术评述与展望[J]. 能源技术与管理, 2011(4):9-12.
HUANG Lanying,LI Zhuangfu,YANG Jingfen, et al. Evaluation and prospect of coal seam thickness prediction technology [J].Energy Technology and Management, 2011(4):9-12.
[3] RALSTON Jonathon,REID David,HARGRAVE Chad,et al. Sensing for advancing mining automation capability:a review of underground automation technology development[J]. International Journal of Mining Science and Technology, 2014(3): 305-310.
[4] 孙科林. 基于多核DSP的实时图像处理平台研究[D]. 成都: 电子科技大学, 2012.
[5] 牛剑峰. 无人工作面智能本安型摄像仪研究[J]. 煤炭科学技术, 2015,43(1):77-80, 85.
NIU Jianfeng.Research on intelligent intrinsically safe camera for unmanned fully-mechanized coal mining face [J]. Coal Science and Technology, 2015, 43(1):77-80, 85.
[6] 赵小虎，刘闪闪，沈雪茹，等. 基于CS架构的煤矿井下图像处理算法研究[J]. 煤炭科学技术, 2018, 46(2): 219-224.
ZHAO Xiaohu,LIU Shanshan, SHEN Xueru,et al. Research on processing algorithm of image in undergroundcoal mine based on CS framework[J]. Coal Science and Technology, 2018, 46(2): 219-224.
[7] ZHANG Huanqing, GE Hongwei, YANG Jinlong. Improved Gaussian Mixture PHD for close multi-target tracking[C]//IEEE Beijing Section.Proceedings of 2014 IEEE 7th Joint International Information Technology and Artificial Intelligence Conference，Beijing, 2014.
[8] 李成德. 远程监控及智能化系统在矿山工程机械中的应用[J]. 煤炭加工与综合利用, 2019(2):93-94.
LI Chengde. Application of remote monitoring and intelligent system in mine construction machinery [J]. Coal Processing and Comprehensive Utilization, 2019(2):93-94.
[9] 任建刚，杜怀龙. KJ83X(A)安全监控系统在大柳塔煤矿的应用[J]. 煤炭工程, 2019,51(2):58-62.
REN Jiangang, DU Huailong. Application of KJ83X(A) safety monitoring system in Daliuta Coal Mine[J].Coal Engineering, 2019, 51(2):58-62.
[10] 黄乐亭，黄曾华，张科学. 大采高综采智能化工作面开采关键技术研究[J]. 煤矿开采, 2016, 21(1):1-6.
HUANG Leting, HUANG Zenghua, ZHANG Kexue. Research on key mining technologies of intelligent working face in large-height fully-mechanized mining [J]. Coal Mining Technology, 2016, 21(1):1-6.
[11] 王国法，范京道，徐亚军，等. 煤炭智能化开采关键技术创新进展与展望[J]. 工矿自动化, 2018, 44(2):5-12.
WANG Guofa, FAN Jingdao, XU Yajun, et al. Progress and prospect of key technology innovation in intelligent coal mining [J]. Industrial and Mining Automation,2018, 44(2):5-12.
[12] 刘风华，杨丽君. 基于 ARM的嵌入式煤矿视频监控系统设计[J]. 现代电子技术, 2014(16):8-10.
LIU Fenghua, YANG Lijun. Video monitoring system of embedded coal mine based on ARM[J]. Modern Electronic Technology, 2014(16):8-10.
[13] 陈锦星. 视频监控云系统架构及运营模式的研究[D]. 大连: 大连理工大学, 2013.
[14] 赵 鹏. 实时图像处理系统的硬件设计与实现[D]. 北京: 北京工业大学, 2013.
[15] 陈建东. 移动视频采集在煤炭企业安全生产中的应用探索[J]. 中国信息化, 2014(15):55-57.
CHEN Jiandong. Application exploration of mobile video acquisition in the safety production of coal enterprises [J]. China Informatization, 2014(15):55-57.
