基于地铁机电系统故障统计的大数据分析应用.docx

?

?

基于地铁机电系统故障统计的大数据分析应用

?

?

李兆君

摘要：针对大数据的5V特点、技术特征，采用大数据常用的处理软件，对大数据常用工具、基本面和应用领域进行全面阐述，从而充分挖掘大数据的重要价值，同时基于地铁机电系统故障统计的大数据分析应用为案例，为用户提供大数据价值挖掘方向和探索目标，并对大数据发展方向进行预测。

关键词：大数据5V技术特征常用软件常用工具应用领域地铁机电故障统计分析应用发展方向

Abstract：Accordingto5vcharacteristics，technicalfeaturesoflargedata，USESthecommonlyuseddataprocessingsoftware，tools，fundamentalsandapplicationfields，whichareusedinlargedatacomprehensivelyexpounded，soastofullyexploretheimportantvaluesofbigdata，atthesametimebasedonthemechanicalandelectricalsystemfailurestatisticsofbigdataanalysisapplicationasacase，toprovideuserswithlargedatavaluedirectionofminingandexplorationtarget，andthetrendofthedevelopmentofbigdatatomakepredictions.

Keywords：Bigdata，5V，Technicalfeatures，Commonlyusedsoftware，Commonlyusedtools，Applicationfield，Subwaymechanicalandelectrical，Faultstatistics，Analysisandapplication，Developmentdirection.

0引言

大数据（bigdata，megadata）或称巨量资料，是指需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。大数据的5V特点：Volume（大量）、Velocity（高速）、Variety（多样）、Value（价值密度）、Veracity（真实性）。从技术上看，大数据与云计算密不可分，必须采用分布式计算架构[1]。它的特色在于对海量数據的挖掘，依托云计算的分布式数据库、云存储、分布式处理和虚拟化技术。大数据并不在“大”，而在于“有用”的价值含量、挖掘成本比数量更为重要。如何利用这些大规模数据是成为赢得竞争的关键。

1大数据的特点、技术特征、价值

1.1大数据5V特点的五个层面

1）数据体量大：从TB级别，跃升到PB级别；

2）数据类型多：网络日志、视频、图片、地理位置信息等等；

3）价值密度低：以视频为例，连续不间断监控过程中，可能有用的数据仅有一两秒；

4）处理速度快：秒定律。

1.2大数据结构技术特征

以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术，包括大规模并行处理（MPP）数据库、数据挖掘电网，分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。

1.3大数据最核心的价值

在于对于海量数据进行存储和分析，大数据的“廉价、迅速、优化”这三方面的综合成本是最优的。如图1，大数据价值链。

1）利用大数据对消费者精准营销；

2）利用大数据做企业服务转型[2]；

3）面临互联网压力之下必须转型的传统企业需要与时俱进充分利用大数据的价值；

4）及时解析故障、问题和缺陷的根源，有目标性改进修程，指导备件采购与仓储，规划人力资源、预算方向。

2大数据常用处理软件及工具

2.1常用软件

有Hadoop、HPCC（HighPerformanceComputingandCommunications高性能计算与通信）、Storm、ApacheDrill、RapidMiner、PentahoBI[3]。

1）Hadoop

Hadoop是一个能够对大量数据进行分布式处理的软件框架，是以可靠、高效、可伸缩的方式进行处理的。主要有6个优点：高可靠性，按位存储和处理数据的能力大；高扩展性，在计算机集簇间分配数据并完成计算任务，集簇可以扩展到数以千计的节点中；高效性，能够在节点之间动态地移动数据，并保证各个节点的动态平衡，处理速度快