智能矿山大数据关键技术与发展研究

崔亚仲,白明亮,李 波

(国家能源集团神东煤炭集团有限责任公司 信息管理中心,陕西 神木 719300)

针对我国煤矿开采过程中数据生产量大但无法将这些数据进行有效的利用,无法为煤炭开采提供可靠的数据信息支撑等问题,研究分析了大数据技术在煤炭生产工业中的应用。介绍了智能矿山大数据的基本概念、特征及价值体现,概述了国内外智能矿山大数据研究与应用现状,分析了智能矿山大数据技术发展的驱动因素和存在的阻碍;通过分析智能矿山中的数据来源、数据集成以及数据分析应用,总结了智能矿山大数据的关键技术,如数据获取技术、数据集成与融合技术、大数据分析与挖掘、大数据的数据解析应用技术等;通过分析神东智能矿山的大数据平台架构、大数据平台的物理架构以及总体架构建设中的应用案例,提出智能矿山大数据应从矿山安全管理、生产执行、经营管理等领域进行应用研究;最后给出了我国在智能矿山建设过程中的建议。

关键词大数据;智能矿山;神东矿区;平台架构

0 引 言

随着数字矿山的建设及发展,智能矿山(本文重点指煤炭行业智能矿山)建设将成为煤炭开采行业发展的趋势。现代化的数字化技术、自动化控制技术、通信技术、信息化技术、大数据技术及其他先进技术,越来越多地被用于智能矿山建设,实现对煤炭开采、分选加工、运输、销售等各环节的协调。降低各环节成本,减少或避免各种影响,提高煤炭生产、分选加工、运输及销售等全流程的运行效率[1]

智能矿山建设的终极目标是将包括回采、掘进、运输、一通三防、供配电、供排水、分选加工、外运、调度等煤矿整个生产过程的各个环节与业务领域,都建成全景实时系统。 煤矿全景实时数据的采集、传输、处理、存储、分析挖掘、可视化、控制、应用等,以及对多源巨量数据的长期积累,将成为智能矿山安全、高效、绿色、智能及可靠运行的基石。

大数据技术是一项新兴技术,目前已被政府、电商、金融、医疗、能源、制造等各大领域广泛应用,是对巨量的、来源和种类繁杂的数据进行高速地捕捉、发现和分析,用相对经济的方法获得有价值的一套技术架构体系[2-3]

智能矿山也将是大数据应用的重要领域之一。首先, 随着数字矿山的快速发展,智能设备和传感技术在煤矿的大量使用与普及,使得煤矿产生了大量来源多、结构杂的数据。采集、存储、分析挖掘、可视化、控制和利用这些数据,将成为我国煤矿企业的新挑战;但同时,由于这些数据具有巨大的潜在价值,能够显著提升煤矿企业的经营管理水平,甚至可能为煤矿企业拓展其他业务增长或促成根本性的升级转型。

近年来,智能矿山大数据技术在国外和国内都有较为广泛的研究及试验性应用,但总体而言,研究的广度和深度均处于初级阶段。智能矿山大数据的研究和应用是一项艰巨的工程,需要坚持不懈的工作投入。首先,大数据的理论体系还不够成熟,相关技术不断升级,未达到稳定期;其次,煤矿企业现阶段的信息化水平参差不齐,即使是信息化水平较高的煤矿企业也仍然存在着各大信息系统数据尚未打通,没有统一的数据标准和数据模型,系统间互操作性的问题仍然没有解决,这将使煤矿企业陷入数据获取和应用无法轻易实现的困境;煤矿企业从业人员当前对大数据概念、理论、技术、实践以及潜在的价值等认识不够深入,尚未统一思想,加之,行业内大数据技术人才相对缺乏,这些因素给大数据在智能矿山中的应用造成障碍。部分大型煤炭企业由于缺少战略性的顶层设计和研究,在一定程度上对智能矿山大数据研究与大规模应用的发展产生了制约[4-5]

基于此,笔者首先介绍智能矿山大数据的基本概念及特征,价值体现,以及其与传统研究方法的差异;同时,概述了国内外智能矿山大数据研究与应用现状;其次,对智能矿山大数据技术发展的驱动因素和阻碍因素进行了分析,对智能矿山大数据的关键技术进行了详述,并对其应用领域及价值进行了展望,同时给出了神东煤炭集团智能矿山大数据应用案例。

1 智能矿山大数据概念

1.1 数据特征

随着数字矿山建设的推进和煤矿信息化不断发展,井下无人值守变电所(水泵房)系统、安全监测监控系统、智能灯房管理系统、人员定位系统、智能化少人或无人开采工作面、设备动态运行数据采集系统、矿井三维可视化安全生产综合管理系统、综合现场移动控制系统、设备在线点检系统、区域煤矿中央集中智能控制中心等信息化、智能化系统,以及服务于各个专业领域的信息管理系统的逐步建成和投入使用,使得煤矿企业的数据体量和种类快速增长,这些数据共同构成了智能矿山大数据。

智能矿山大数据根据其来源的不同,可分为2大类3个方面,如图1所示,第1大类:内部数据,包括煤矿企业生产经营业务数据和设备环境物联网数据2个方面。其中生产经营业务数据,主要来自煤矿企业传统信息化系统,如安全管理系统、ERP系统、SRM系统、SCM系统、cMES(煤矿生产执行)系统等。其中设备环境物联网数据,主要指煤矿各种设备、仪表、以及矿山环境在SCADA系统中或在物联网运行模式下,产生的实时监测数据。这些数据包括设备操作及运行日志、工矿状态、矿山环境参数状态数据等。而设备环境物联网数据是智能矿山大数据的主要组成部分,具有快速增长、时序性强的特点。第2大类:外部数据,来源有煤炭市场信息、同行业信息、设备供应商服务信息、气象信息、互联网信息、其他公共服务部门信息等。外部数据具有分散放置、分布管理的特点。同时,这2大类3个方面来源的数据按照产生主体分类又分别对应于企业数据、机器数据、社会化数据。这些数据之间有着比较复杂的关联、影响等复杂关系。另外,这些数据种类多、结构杂,除了结构化的数据,还有大量半结构化以及非结构化的数据[6]

图1 智能矿山大数据来源
Fig.1 Sources of intelligent mine big data

综合智能矿山的特点与大数据的数据特征,可将智能矿山大数据的数据特征归纳如下:智能矿山大数据除具有数据规模大、多样、速度快和价值密度低等一般大数据的特征外,还具有时序性、强关联性、准确性、闭环性等特征[7]

1)数据规模大:智能矿山数据规模大。大量机器设备的高频数据、环境监测数据和互联网数据等持续涌入,使得智能矿山的数据规模急剧增长。数据量将达到PB级甚至EB级别的大型集团企业数量在不断增长。

2)多样:指数据类型的多样以及来源的广而杂;智能矿山数据结构复杂,既有结构化和半结构化的传感数据,也有非结构化数据。同时其分布广,分布于机器设备、环境监测、管理系统、互联网等[8]

3)速度快 :指数据的采集和处理速度快。智能矿山数据采集与处理速度需求多样,生产现场监测控制类的数据采集、处理要求达到毫秒级,为了获得较好的用户体验以及满足业务及时性,批量或交互式分析的管理与决策数据也不断被要求缩短分析处理响应时间。

4)价值密度低:相对于单一业务信息系统数据,大数据由于其体量巨大,其价值密度显著降低。

5)时序性:智能矿山大数据因包括大量的设备环境物联网的有时间戳数据,强调时序性,如安全监测数据、设备状态监测数据等。

6)强关联性:其一,智能矿山在同阶段的数据有强关联性,如煤种、煤质、产量、采场条件、设备运行状态、维修及大修信息、材料配件供应情况、采掘接续计划等;其二,智能矿山设计、建设、生产等全生命周期过程中不同阶段的数据也有较强关联性。

7)准确性:指数据的完整性、真实性以及可靠性。智能矿山大数据更注重数据质量,要求数据完整、与实际相符;同时对数据分析处理方法的可靠性要求较高;另外,智能矿山对分析结果具有较高的置信度,只靠相关性分析不能满足设备故障诊断、灾害预测预警等应用,还需结合物理模型与数据模型挖掘深层次的内在联系。

8)闭环性:一方面,智能矿山各系统横向数据链条存在闭环与关联。另一方面,智能矿山数据采集与处理中,需要持续进行动态调整与优化的系统,且要求实现闭环。

智能矿山大数据技术是在传统商务大数据技术的基础上在矿山的应用,但是在数据采集、存储、处理、分析挖掘、可视化等环节与应用上与商务大数据又有所区别,见表1 [8-9]

1.2 大数据研究方法

显著区别于传统数据挖掘技术的大数据技术,其研究方法在升级和扩展传统数据挖掘技术的基础上,有了颠覆性的改变。利用大数据技术,对数据的处理和分析有更新的思路和途径。同时新的研究方法和手段也会伴随着大数据理论与技术的持续发展而不断涌现[10]

表1 智能矿山大数据与商务大数据的区别
Table 1 Differences between intelligent mine big data and business big data

环节与应用商务大数据智能矿山大数据采集通过交互方式采集商务数据,对时效性要求不高通过各种传感器、智能装置、业务信息系统以及其他数据采集技术完成数据收集。对实时性要求很高存储关联性较弱,可自由存储关联性强,存储比较复杂处理数据清洗、归约;需剔除大量无关紧要的数据数据大多来自传感器、信息化系统,数据信噪比低,要求数据具有真实性、完整性和可靠性;处理时更关注数据格式的转化以及质量分析挖掘利用常规的分析算法;更关注相关性分析;要求分析结果不是绝对精确分析难度较高,算法专业,需要分别对数据和业务建模;要求结果的精度和置信度高可视化对分析结果进行展示可视化除对分析结果展示可视化外,还需3D矿山场景可视化;要求预警和趋势可视化实时性强闭环性一般无需闭环需闭环反馈,实现动态调整、优化以及自动控制等

1)大数据研究思维。传统数据分析方式一般采用抽样数据,而大数据方法则采用全量数据;传统矿山数据分析侧重研究某个部门或某个专业的数据(如矿压分析、能耗分析、财务分析等),而智能矿山大数据分析则通过融合不同部门、多个专业的数据,实现多维分析。

2)大数据研究途径。与传统科学研究途径“假设、试验、结果分析、证实或证伪”不同,大数据研究途径一般是假设、数据准备、数据挖掘分析、试验、试验结果分析、假设证实或证伪或新的知识发现、对新发现的知识进行科学的分析解释与验证[11-12]

2 智能矿山大数据国内外研究现状

芬兰、瑞典等国家早在20世纪90年代就制定了智能矿山和无人化矿山的发展规划;美国研究了煤矿井下自动定位与导航技术,并获得了能够商业化的成果;德国鲁尔集团与PSI公司一起开发了智能矿山一体化平台 ;澳大利亚部分煤矿建成了智能矿山的大数据分析系统[13-16]。在国内,2016年我国发布了《全国矿产资源规划(2016—2020年)》,明确提出未来5年要加快建设数字化、智能化、信息化、自动化矿山。总体来看,矿业在发展中经历了人力矿山、机械矿山、数字矿山、感知矿山等不同业态,正朝着自动化、智能化和无人化迈进。中国煤炭工业协会2016年发布了煤炭工业“十三五”大数据建设指导意见。2018年工业和信息化部将着重支持煤炭智能采掘装备研发和推广应用,在此基础上加强智能矿山大数据应用研究。煤矿智能化建设,先从自动化、数字化建设起步,很多煤矿企业进行了大量的探索与长期的应用,大数据技术在这些煤矿企业的应用也有了开创性的进展。如,神东锦界智能矿山建设项目[17],榆林神华郭家湾煤矿智能矿山建设项目[18],神东区域煤矿智能集中控制系统建设,兖矿集团煤矿工业大数据发展应用[19],陕煤柠条塔煤矿利用大数据、物联网等技术,对煤矿安全生产全因素进行数据收集分析、实现风险预测预警,优化、改进了安全生产运营管理方式和综采、主运输、生产辅助等系统的运行管理以及全时空的岗位管理等[20],天地王坡煤矿数字化矿山建设项目[21]等。这些项目为煤矿大数据技术发展应用起到了采集、积累数据的基础作用。煤炭行业智能矿山工程研究中心在2017年9月成立,将为煤炭企业的自动化、信息化、数字化、智能化建设提供强有力的专业技术支撑[22]

总而言之,国外、国内都有各类院校、机构以及企业等开展了智能矿山大数据研究以及实践应用,已初见成效,但研究仍不够深入,未形成体系,成功的应用案例不够广泛。整体上处于初级阶段。当前,通过吸收消化国内外已有研究成果和实践经验的基础上,再进行创新的方式,可以较快提高我国智能矿山大数据的研究和应用水平。

智能矿山通过大数据技术,可有效提高矿山的安全生产管理水平,降低煤矿开采成本,实现安全、高效、绿色、智能发展,提高矿山行业整体形象。但技术研发上仍巨大挑战,需要产、学、研、用各方就大数据技术能带来的巨大价值这一观点达成共识的基础上,共同提高智能矿山大数据的研究和应用发展水平。

3 发展驱动因素和存在的问题分析

3.1 驱动因素

1)煤矿企业拥有大量的生产设备运行监控数据、安全与环境监测数据、矿压监测数据等,其中包含着巨大的价值需要挖掘。例如,实现安全风险预警,灾害预测预报,实现各个生产系统间的协同,实现统一精准调度,优化生产排程,提高生产效率等。

2)对于拥有巨量资产的矿山集团型企业,通过对大数据分析,可以从其对资产的监测、运维中获取的海量数据中,挖掘出增长资产价值和提供管理水平的知识发现,从而取得可观的经济效益。

3)在实现煤炭产运销数据融合的基础上,利用大数据分析、挖掘,可实现精准、定制式生产,提高产运销个环节的协同能力,降低各环节之间的相互影响,减少损耗,降低成本。

4)大数据将促进GIS技术、地质煤层、煤种(煤质)、铁路、公路、水路、港口、电厂以及天气预报数据在智能矿山中的应用,提高煤矿生产的精准计划性和煤种(煤质)的精准调配,实现利润最大化。

5)通过智能矿山建设,可以实现煤矿企业全局级数据收集、汇聚,将大数据技术与业务深度融合,实现大众化的价值创造,达到数据驱动业务操作和决策支持,真正实现企业的数据化转型升级。

6)利用智能矿山大数据分析,还可能为矿山企业探索新的价值创造点,形成新的增值业务 。

3.2 存在的问题分析[23]

1)未达成共识。矿山企业是典型的传统行业,与金融、电商、互联网企业从业人员相比,其从业人员对大数据的基本概念以及大数据对智能矿山潜在的价值创造认识不够,甚至对其持怀疑态度,需要有显著的成功案例才能使其信服进而获得认同,达成共识。

2)技术储备不足,人才缺乏。国内矿山企业尚未制定出整个企业的大数据战略、数据模型、数据架构以及数据标准,处于企业数据标准制定以及信息系统集成的初期探索阶段。智能矿山大数据技术的研究与工程应用要获得较大的、长期的收益,除了引入第三方ICT技术力量外,还需要煤矿企业培养一批既懂自身业务又掌握大数据思维与基本技术的人才。而这个方面的人才在煤矿企业相对缺乏。

3)资金投入。大数据研究与应用需要巨大的资金投入,智能矿山大数据应用预期能够获得的经济效益或价值创造点仍不够明晰,需要建立智能矿山大数据应用的资金回收评估模型,才能说服投资方持续投入大量资金。

4)“信息孤岛、数据烟囱”。煤矿现有信息系统数据尚未打通,无法实现互操作,软硬件系统之间的技术差异和标准差异,也同样导致“信息孤岛、数据烟囱”问题,并且短时间内很难被彻底解决。

5)架构的一致性。煤矿早期建设各业务信息系统大都没有统一规划、制定统一的架构标准、数据标准,导致各种信息系统各自为政,分散交叉、重复建设,加重了“信息孤岛,数据烟囱”的局面。而重新设计适应大数据应用的顶层信息系统架构、数据架构与标准,除了需要新建大数据应用平台外,还需改造或重建存量系统。

6)数据获取。一方面煤矿企业获取数据受到硬件方面的限制,如,现有大量老旧设备存在,不具备数据采集能力。另一方面也受到原有的企业管理机制的限制,如煤矿运行管理各个不同的业务专业相对孤立,横向沟通协调较少,不愿打破原有惯性模式,造成数据共享的障碍。

7)技术复杂。智能矿山大数据是煤矿安全生产运行技术、ICT技术以及大数据挖掘与分析技术等的结合,其复杂性主要体现在跨学科、综合性、先进性等方面,这种复杂性也是智能矿山大数据发展的一大阻力。

8)数据安全问题。矿山企业有些数据涉及到安全问题,使用范围受限,所以大数据应用还需要解决数据安全问题。

4 智能矿山大数据关键技术

作为大数据技术在煤矿领域的应用,智能矿山大数据技术的研究内容也主要集中在数据获取、数据结构、数据集成、数据分析、数据展示[22],而在应用领域主要是研究上述大数据技术与煤矿具体业务的融合实践。从第3节提出的目前智能矿山大数据技术面临的主要问题来看,数据获取技术,数据集成技术以及数据分析应用技术将是当前智能矿山大数据的关键技术。

4.1 数据获取技术

煤矿自动化、数字化、信息化技术的发展和广泛的应用,为智能矿山建设积累了必要的基础条件与部分原始数据,但是煤矿企业的存量设备大部分均比较老旧,除了部分不具备数据采集能力的以外,其余存量设备的通信接口协议标准不统一,增大了设备数据统一集中采集,实现数据互通,协同控制的难度。而且,煤矿企业还有相当部分业务没有实现数字化、信息化,很多业务数据没有得到感知。即使是近年新建的煤矿、进行过数字化、智能化改造的煤矿也存在类似问题。所以底层的数据采集软硬件技术——也就是煤矿物联网技术,仍然是智能矿山大数据建设的关键技术之一。实现对煤矿全业务、全过程、多维度、及时的感知,且能够使这种感知实现起来更容易、更广泛、更彻底,还需加强技术研究。

4.2 数据集成技术

在数据集成时,需要解决数据标准化的问题。多源异构的数据要完成集成,需要在企业全局范围内开展数据标准化与治理工作,只有解决好数据标准化问题的数据集成,才能真正消除“信息孤岛、数据烟囱”现象。所以数据标准化及治理将是影响智能矿山大数据的关键之一。

另外数据集成过程中,还需要构建大数据管理与分析应用平台。因为,传统的数据管理、分析解决方案已无法处理巨大的数据,而大数据管理与分析平台能够解决这一问题。通过数据技术专家与行业专家共同的调研论证等方式,先选定平台所需采集的数据源,然后,通过应用标准化的成果,将各种数据源抽取、转换、加载到平台中,以提高数据质量。同时,按照库表关联、语义关联、标签系统关联分析等方法,实现数据在逻辑上的融合。

数据集成必须有存储与处理平台,大数据的处理方式有流处理和批处理,流处理是将那些大量快速且持续采集的数据直接进行处理,并立即给出处理结果。流处理适用于智能矿山中特别强调实时性的业务场合。批处理是将采集到的数据先存储起来,然后等分析需要时再进行处理,这种处理模式适合用于智能矿山中拥有巨量数据,但不强调实时的场景,如各种非结构性图表等数据分析处理场景。智能矿山建设是一个系统工程,而且是持续发展的,但是,可以利用云计算技术实现分布式数据存储和处理,为智能矿山大数据应用提供保障,也能避免传统技术在集成多方面的数据,集中管控时,存在可靠性和可扩展性方面的局限。

4.3 数据分析应用技术

综合智能矿山的特点与当前的数据分析与处理技术,笔者认为大数据在智能矿山中的应用主要从大数据分析和数据解析2个方面展开。

1)大数据分析与挖掘。 从本质上讲,数据分析与数据挖掘均是为了从已有的数据中提取有价值的信息,发现新知识,而研究、概括、总结数据的过程。此数据分析既包括对一般的数据量在MB或GB的结构化数据进行的统计学分析技术,也包括对于数据量在TB或PB的非结构化数据的运用机器学习、人工智能等技术进行知识发现的数据挖掘技术。智能矿山大数据技术就是充分利用大数据分析技术,对煤矿大数据按照智能矿山的业务场景进行统计分析、数据挖掘,从而发现知识与规律的技术。其包括可视化分析、数据挖掘算法、预测性分析能力、语义引擎、数据质量和数据管理等[24]

2)大数据的数据解析。 为让业务人员能够很好地理解并应用,分析人员还需将分析过程和结果用业务的语言和视角,通俗地展现给业务人员。这一过程被称为大数据的数据解析,可以看作是一种特殊的大数据分析法[25]

通过运用上述2种大数据分析应用技术,借助智能矿山全景数据在时空上的冗余性及互补性,可实现对煤矿全局态势进行宏观、实时、连续、准确把握,同时也可以实现对煤矿局部态势的多层次、多维度、多模式精确感知。

在智能矿山的安全生产运营过程中,可能存在着一些有一般性的经验甚至是规律,尚未或无法被提炼成理论性的观点或知识并展现出来。但运用数据挖掘技术从智能矿山大数据中,挖掘提取出蕴藏在日常工作惯例或经验中的一般规律,这样,安全生产管理者可以从中获得更多有利于提高安全生产管理水平的新认识[26]

同样,在智能矿山优化生产排程方面,通过过程挖掘,即挖掘业务处理与事件数据之间联系,发现其中有价值的联系,并加以运用,从而实现智能矿山的精准生产。

数据可视化技术在智能矿山的应用可以实现以下4个方面:①对智能矿山所有采集到的数据,做出全面的、整体的描绘;②对智能矿山中动态变化量进行多层次、多维度、多模式的态势预估与宏观展现;③展现各数据项彼此之间的相关性;④对数据降维后局部关键细节的放大凸显。

利用数据可视化技术,还能使智能矿山大数据的应用方式与应用价值能够最为直观地展现出来。

5 智能矿山大数据应用领域展望

5.1 应用概述

从21世纪初至今,矿山自动化经历了机械化、单机自动化、综合自动化、以及目前正在快速发展的数字化、智能化的发展阶段。尤其是近年来,在国家推动下,随着矿山企业的自动化与信息化建设不断投入,两化融合在矿山企业的有效实施,矿山安全监控、数字矿山生产控制、人员定位、设备监测与控制(SCADA)、三维GIS建模、移动监控、MES、SRM、SCM、ERP等系统不断应用, 产生了海量、不同层次、不同类别的数据资源,为大数据在矿山行业中的应用奠定了基础。

尽管智能矿山大数据技术应用还没有出现成功的一般经验和经典样例,但是针对各信息系统数据互通、集中存储、共享利用的项目已经开始实施,而且一些简单的数据挖掘工作也有开展,如神东、阳煤、陕煤等集团。综合该领域的现有研究应用情况,未来智能矿山大数据的应用将从矿山安全管理、生产执行、经营管理等领域重点开展。

5.2 安全管理领域的应用

煤矿一直以来被视为高危行业,煤矿企业以及社会对煤矿的安全管理水平的期待较高,其安全管理压力以及提升空间较大,煤矿企业对提升安全管理水平有着自身与外部的强烈需求。

大数据在煤矿安全领域的研究应用,已有进展,在变革管理思维、提高系统安全观、改进管理方式等方面如何应用大数据技术也有相关研究[27]。马小平等[28]则针对煤矿安全问题,提出应该建设专家知识库、矿井虚拟三维可视化、煤矿安全动态分析等系统来更好地解决。对于煤矿5大自然灾害,孙继平[29]也提出运用大数据技术实现对事故的超前预警。

综合上述研究,大数据技术将为煤矿安全管理中起到危险(灾害)预测、预报、预警分析,优化管理模式等,为煤矿安全提供更大的支撑与保障。

5.3 生产执行领域的应用

智能矿山大数据在生产执行领域的应用可以概括为以下3个方面。

1)通过提高煤炭生产各个环节(采、掘、机、运、通、供电、排水等)内的科学、合理、高效的配置,以及各环节之间的协同,降低影响,提高煤矿整体运行效率。

2)通过多维数据分析应用,预测设备运行状态,实现精准预防性维修,减少关键设备故障,提高设备开机率及能效。

3)通过结合内外部数据,分析预测内部产出、市场行情,实现精准生产。如优化产品(煤种、煤质)配置,提高收益;集团企业可以实现内部不同矿井生产及外购、外运、销售之间的联动调度,实现集团生产调度的大协同。

5.4 经营管理领域的应用

智能矿山大数据除了在安全、生产领域发挥专门作用外,煤矿企业通过综合设备层、生产执行层、经营管理层数据,以及外部数据,帮助企业实现人、财、物等方面的精益化管理(如人员功效、设备效能、物资采购与库存管理等),在内部经营管理方面分析短板、发现优势,为企业经营管理提供重要的多维决策依据,实现数据驱动型企业的转型升级。

5.5 其他领域的应用

智能矿山大数据,再往上汇聚,到大型集团企业总部、行业协会、政府部门,就构成行业、社会大数据,据此,可以对社会经济状况分析和预测,可以进行相关政策制定的依据和效果分析,能源结构调整以及需求侧的管理与响应,以及面向用户的服务等。总之可以在更广泛的领域得到应用。

6 智能矿山大数据应用工程案例

神东煤炭集团在建设智能矿山大数据方面基本上历经自动化、信息化、数字化以及智能化的路径,积累了丰富的建设经验,基于统一规划设计架构(图2)。在建成神东锦界数字矿山并在神东其他煤矿推广部分应用的基础之上,从2012年开始与德国鲁尔工业区的PSI公司合作,重点对设备环境物联网数据(机器数据)研究开发了亿吨级的区域煤矿大数据采集、存储、控制、分析、展示平台。

区域煤矿集中智能控制系统(LCS)是针对底层设备环境物联网数据(机器数据)为主要数据源的系统。重点解决了设备层数据采集存在的通信协议标准不统一问题,将42家厂商的6 000多种设备,15个子系统都改造为具备神东企业标准的EtherNet/IP协议,通过生产专网传输到地面系统,然后转换为OPC协议,统一接入到平台,实现了数据的采集、整合、集成、控制、管理、分析、展示、应用服务等功能。实现了神东5矿6井的数据采集,接入点超过15万个[30]。在建设过程中完成了数据标准化工作,实现了所有接入设备、自动控制系统之间的数据互联互通,同时能为上层应用提供API等标准接口。

图2 神东智能矿山大数据平台设计架构
Fig.2 Designed architecture of Shendong intelligent mine big data platform

基于该系统的数据服务也被大量使用,各种大范围通用的以及小范围个性化的各种数据应用逐步开展。目前已有通用报表50多套,各业务场景、甚至岗位个性化的预测分析、关联分析、预警、画像、指标评价等应用逐渐增加。例如,利用数据进行各矿井设备能效分析,对标考核,提升能效;利用多维历史数据预测安全生产能力;利用环境监测数据分析进行灾害风险预警;关联分析同一设备不同部件的数据、不同设备的同一部件数据以及不同设备的不同部件数据,可以发现一些新知识;设备历史数据与标准值比对可以帮助岗位设备操作工和检修工更加精准地了解设备动态性能,指导操作与检修,避免带病运行和不当操作,避免过度检修和欠检修,从而实现提高设备开机率的目的等。

神东集团在进行智能矿山大数据建设过程中,当前的系统、平台还在逐步扩展、完善中。但在安全、产能、效率、成本、管理等方面已经取得了显著成效。

7 结 论

1)大数据技术将在矿山行业得到大量发展应用,成为一个重要的应用领域之一。随着智能矿山建设的不断推进,矿山企业采集并积累了巨量的监测数据,为大数据技术提供了基础信息。

2)国内外智能矿山大数据研究和工程应用都在向前推进,但均处于探索阶段。智能矿山大数据的研究以及工程应用是一个复杂的系统工程,相关研究与应用实践既有诸多驱动因素,同时也存在诸多阻碍因素,需要经过一个漫长的发展过程,需要参与者有足够的耐心和持久的投入,在相关方达成共识的前提下,合力破除阻碍,制定各个层面的智能矿山大数据发展战略并实施,才能使其得到健康有序发展,最终收到实效,获得成功。

3)数据获取技术、数据集成与融合技术以及数据分析应用技术将是当前智能矿山大数据的关键技术。在当前数据集成与融合技术之上,充分利用大数据的多源异构性、相关性、冗余性等特征,研究智能矿山大数据的采集获取技术、集成与融合技术,解决大数据获取时存在的全面性和一致性方面的问题。在数据获取与集成后,需针对各种不同的应用进行数据的处理、管理,然后选择适宜的数据分析、展示方法,以便实现最大程度的价值创造。

4)智能矿山大数据的应用将从矿山安全管理、生产执行、经营管理等领域重点开展。如神东等大型煤炭集团在这些领域做了大量研究和探索。另外,数据也可以向上进一步汇集,在更广泛的领域得以应用。

5)大数据技术仍在不断的发展,新理论、新技术日新月异。要在智能矿山中更加有效地发挥大数据技术的价值,相关研究者和实践者应紧跟前沿理论和技术,不断将更新理论、技术应用到智能矿山实践中。

参考文献:

[1] 李 娜.互联网+与煤矿大数据及其应用分析[J].企业改革与管理,2018(5):58-59,7.

LI Na.Analysis of internet+ and coal mine big data and its application[J].Corporate Reform and Management,2018(5):58-59,7.

[2] 王国法,王 虹,任怀伟,等.智慧煤矿2025情景目标和发展路径[J].煤炭学报,2018,43(2):295-305.

WANG Guofa,WANG Hong,REN Huaiwei,et al.The Situation goal and development path of smart coal mine in 2025 [J].Journal of China Coal Society,2018,43(2):295-305.

[3] 孙继平.煤矿信息化自动化新技术与发展[J].煤炭科学技术,2016,44(1):19-23,83.

SUN Jiping.New technologies and development of coal mine information automation[J].Coal Science and Technology,2016,44(1):19-23,83.

[4] 霍中刚,武先利.互联网+智慧矿山发展方向[J].煤炭科学技术,2016,44(7):28-33,63.

HUO Zhonggang,WU Xianli.Internet + smart mine development direction[J].Coal Science and Technology,2016,44(7):28-33,63.

[5] 马小平,胡延军,缪燕子.物联网、大数据及云计算技术在煤矿安全生产中的应用研究[J].工矿自动化,2014,40(4):5-9.

MA Xiaoping,HU Yanjun,MIAO Yanzi.Research on application of internet of things,big data and cloud computing technology in coal mine safety production[J].Industry and Mine Automation,2014,40(4):5-9.

[6] 解海东,李松林,王春雷.基于物联网的智能矿山体系研究[J].工矿自动化,2011,37(3):63-66.

XIE Haidong,LI Songlin,WANG Chunlei.Research on intelligent mine system based on internet of things[J].Industry and Mine Automation,2011,37(3):63-66.

[7] 彭 宇,庞景月,刘大同,等.大数据:内涵、技术体系与展望[J].电子测量与仪器学报,2015,29(4):469-482.

PENG Yu,PANG Jingyue,LIU Datong,et al.Big data:connotation,technology system and outlook[J].Journal of Electronic Measurement and Instrument,2015,29(4):469-482.

[8] 卫凤林,董 建,张 群.《工业大数据白皮书(2017版)》解读[J].信息技术与标准化,2017(4):13-17.

WEI Fenglin,DONG Jian,ZHANG Qun.Interpretation of “industrial big data white paper(2017 edition)”[J].Information Technology and Standardization,2017(4):13-17.

[9] 郑树泉,覃海焕,王 倩.工业大数据技术与架构[J].大数据,2017(4):67-80.

ZHENG Shuquan,TAN Haihuan,WANG Qian.Industrial big data technology and architecture[J].Big Data,2017(4):67-80.

[10] 盛杨燕,周涛译.大数据时代[M].杭州:浙江人民出版社,2013.

[11] 李国杰.大数据研究的科学价值[J].中国计算机学会通信,2012,8(9):8-15.

LI Guojie.Scientific value of big data research[J].Chinese Computer Academy Newsletter,2012,8(9):8-15.

[12] 张东霞,苗 新,刘丽平,等.智能电网大数据技术发展研究[J].中国电机工程学报,2015,35(1):2-12.

ZHANG Dongxia,MIAO Xin,LIU Liping,et al.Research on development strategy for smart grid big data[J].Proceedings of the CSEE,2015,35(1):2-12.

[13] LIU Xianglan.Digital construction of coal mine big data for different platforms based on life cycle[C]//Proceedings of 2017 IEEE 2nd International Conference on Big Data Analysis Boston,USA,2017.

[14] LIU Xiangju.Popularization and application of information system big data technique in coal mine of underdeveloped areas in the west[C]//Proceedings of 2014 4th International Conference on Education and Education Management,Moscow,Russia,2014.

[15] MA L,LI S,TANG S,et al.Big data storage and processing method on the coal mine emergency cloud platform[C].Proceedings of 2016 International Conference on Automotive Engineering,Mechanical and Electrical Engineering,Hong Kong,China,2016.

[16] GE Xiaosan,ZHANG YuMin.From digital mine to smart mine[J].Key Engineering Materials,2011(10):480-481.

[17] 韩建国.神华智能矿山建设关键技术研发与示范[J].煤炭学报,2016,41(12):3181-3189.

HAN Jianguo.Key technology research and demonstration of intelligent mines in Shenhua Group[J].Journal of China Coal Society,2016,41(12):3181-3189.

[18] 韩建国.郭家湾智能矿山建设实践[C].北京:中国煤炭学会煤矿自动化专业委员会,中国煤炭工业技术委员会信息化专家委员会,2017.

[19] 杨 林.兖矿集团煤矿工业大数据发展应用刍议[C].北京:中国煤炭学会煤矿自动化专业委员会,中国煤炭工业技术委员会信息化专家委员会,2017.

[20] 张科利,王建文,曹 豪.互联网+煤矿开采大数据技术研究与实践[J].煤炭科学技术,2016,44(7):123-128.

ZHANG Keli,WANG Jianwen,CAO Hao.Study and practice on big data technology of internet plus coal mining[J].Coal Science and Technology,2016,44(7):123-128.

[21] 王金华,汪有刚,傅俊皓.数字矿山关键技术研究与示范[J].煤炭学报,2016,41(6):1323-1331.

WANG Jinhua,WANG Yougang,FU Junyu.Research and demonstration of key technologies for digital mines[J].Journal of China Coal Society,2016,41(6):1323-1331.

[22] 潘 涛.煤炭行业智能矿山工程研究中心成立[J].工矿自动化,2017,43(10):33-36.

PAN Tao.Foundation of intelligent mine engineering research center in coal industry[J].Industry and Mine Automation,2017,43(10):33-36.

[23] 王海军,武先利.“互联网+”时代煤矿大数据应用分析[J].煤炭科学技术,2016,44(2):139-143.

WANG Haijun,WU Xianli.Analysis on application of coal mine big data in age of ‘internet+’[J].Coal Science and Technology,2016,44(2):139-143.

[24] 樊重俊,刘 臣,霍良安.大数据分析与应用[M].上海:立信会计出版社,2016.

[25] 李 丹.大数据解析及其在教育领域的应用综述[J].电子测试,2014(18):101-104.

LI Dan.Analysis of big data analysis and its application in education[J].Electronic Test,2014(18):101-104.

[26] 曾庆田.过程挖掘的研究现状与问题综述[J].系统仿真学报,2007(S1):275-280.

ZENG Qingtian.Summary of research status and problems of process mining[J].Journal of System Simulation,2007(S1):275-280.

[27] 丁 振,张 驎.浅析大数据技术助力煤矿安全管理[J].中国煤炭,2015,41(10):121-123.

DING Zhen,ZHANG Lin.Analysis of big data technology to assist coal mine safety management[J].China Coal,2015,41(10):121-123.

[28] 马小平,代 伟.大数据技术在煤炭工业中的研究现状与应用展望[J].工矿自动化,2018,44(1):50-54.

MA Xiaoping,DAI Wei.Research status and application prospect of big data technology in coal industry[J].Industry and Mine Automation,2018,44(1):50-54.

[29] 孙继平.煤矿事故分析与煤矿大数据和物联网[J].工矿自动化,2015,41(3):1-5.

SUN Jiping.Analysis of coal mine accidents and coal mine big data and internet of things[J].Industry and Mine Automation,2015,41(3):1-5.

[30] 任文清.基于PSIMining区域中央自动化控制技术的研究与应用[J].陕西煤炭,2017,36(6):19-23.

REN Wenqing.Research and application of regional central automation control technology based on PSIMining[J].Shaanxi coal,2017,36(6):19-23.

Key technology and development research on big data of intelligent mine

CUI Yazhong,BAI Mingliang,LI Bo

(Information Management Center,China Shenhua Shendong Coal Group Corporation Limited,Shenmu 719300,China)

Abstract:In the process of coal mining in our country,we can’t really use the data to make a good use of the data,and also can not to provide reliable data support for coal mining,and research and analysis of the application of big data technology in the coal production industry.This paper first introduces the basic concept and characteristics of intelligent mine and its value expression,summarizes the research and application status of intelligent mine big data at home and abroad,and analyzes the driving factors and existing obstacles of the development of smart mine big data technology.By analyzing the data source,data integration and data analysis application in the intelligent mine,the key technologies of big data in the intelligent mine are summarized,such as data acquisition technology,data integration and fusion technology,big data analysis and mining,analysis and application technology of big data.By analyzing the big data platform architecture,the physical architecture of big data platform and the application cases in the overall architecture construction of Shendong Intelligent Mine,the paper provides the large data of intelligent mines should be applied and researched in the fields of mine safety management,production execution,management and so on.At last,some suggestions on the construction of intelligent mine in China are given.

Key words:big data; intelligent mine; Shendong Mining Area;platform architecture

中图分类号TD67

文献标志码:A

文章编号:0253-2336(2019)03-0066-09

移动扫码阅读

崔亚仲,白明亮,李 波.智能矿山大数据关键技术与发展研究[J].煤炭科学技术,2019,47(3):66-74.doi:10.13199/j.cnki.cst.2019.03.009

CUI Yazhong,BAI Mingliang,LI Bo.Key technology and development research on big data of intelligent mine[J].Coal Science and Technology,2019,47(3):66-74.doi:10.13199/j.cnki.cst.2019.03.009

收稿日期2018-10-28;

责任编辑:赵 瑞

基金项目国家重点研发计划资助项目(2017YFC0804310)

作者简介崔亚仲(1976—),男,陕西绥德人,教授级高级工程师,硕士,现任国家能源集团神东煤炭集团有限责任公司信息管理中心主任。E-mail:10017641@chnenergy.com.cn