大数据应用人才培养系列教材大数据导论[2].pptx

大数据应用人才培养系列教材大数据导论[2];大数据应用人才培养系列教材;第三章 大数据采集及预处理;大数据采集概念;常用的数据采集的方式;大数据采集的研究分类;常用日志系统的采集工具考数据类型;Chukwa;Flum;Scribe

Scribe为日志收集提供了一种容错且可扩展的方案。Scribe可以从不同数据源，不同机器上收集日志，然后将它们存入一个中央存储系统，便于进一步处理。当采用HDFS作为中央系统时，可以进一步使用Hadoop进行处理数据，于是就有了Scribe+HDFS+MapReduce方案。;Kafka的producer，broker和consumer三种主要角色;系统日志采集方法;Chukwa的日志采集流程;Chukwa的日志采集流程;Chukwa的日志采集流程;chukwa的目录结构;Adaptors使用tail方式监测日志增量；

Agent发送数据到collectors；

Collectors将各agent收集的数据在/chukwa/logs/目录下写成*.chukwa文件；

当*.chukwa文件大小达到阀值或达到一定时间间隔时将其改名为*.done文件；

Demux进程将/chukwa/logs/*.done文件转移到/chukwa/demuxProcessing/mrInput/目录下进行处理；

PostProcess进程将demux进程处理完成的*.evt文件转储到/chukwa/repos/目录下；

可以根据PostProcess进程按照日志类型在/chukwa/rolling/目录下生成的文件进行按天或按小时的数据合并。;Flume日志采集流程;Flume日志采集流程;Flume日志采集流程;Scribe日志采集流程;Kafka日志采集流程

生产者定期向主题发送消息；消费者订阅特定主题；

消费者将定期请求Kafka需要新消息；

消费者将收到消息并进行处理；消费者可以随时回退/跳到所需的

主题偏移量，并阅读所有后续消息。;“网络数据采集”是利用互联网搜索引擎技术对数据进行针对性、行业性、精准性的抓取，并按照一定规则和筛选标准进行将数据进行归类，形成数据库文件的一个过程。

互联网网络数据是大数据的重要来源之一通过网络爬虫或

网站公开API等方式

可以将非结构化数据从网页中抽取出来，将其存储为统一的本地数据文件，并以结构化的方式存储。;一些企业会使用传统的关系型数据库MySQL和Oracle等来存储数据。这些数据库中存储的海量数据，相对来说结构化更强，也是大数据的主要来源之一。其采集方法支持异构数据库之间的实时数据同步和???制，基于的理论是对各种数据库的Log日志文件进行分析，然后进行复制。;在一些特定领域，比如对于企业生产经营数据或学科研究数据等保密性要求较高的数据，可以通过与企业或研究机构合作，使用特定系统接口等相关方式采集数据。;第三章 大数据采集及预处理;大数据预处理;虽然采集端本身有很多数据库，但是如果要对这些海量数据进行有效的分析，还是应该将这些数据导入到一个集中的大型分布式数据库或者分布式存储集群当中，同时，在导入的基础上完成数据清洗和预处理工作。也有一些用户会在导入时使用来自Twitter的Storm来对数据进行流式计算，来满足部分业务的实时计算需求。

现实世界中数据大体上都是不完整、不一致的“脏”数据，无法直接进行数据挖掘，或挖掘结果差强人意，为了提高数据挖掘的质量，产生了数据预处理技术。;数据清洗时发现并纠正数据文件中可识别的错误的最后一道程序，包括对数据一致性的检查，无效值和缺失值得处理。数据清洗的原理是利用有关技术如数据挖掘或预定义的清理规则将脏数据转化为满足数据质量要求的数据。;这一类数据主要是因为部分信息缺失，如公司的名称、客户的区域信息、业务系统中主表与明细表不能匹配等数据。将这一类数据过滤出来，按照缺失的内容分别填入对应的文档信息，并提交给客户，在规定时间内补全，才可写入数据仓库。;数据清理的方法;数据集成是将不同应用系统、不同数据形式，在原应用系统不做任何改变的条件下，进行数据采集、转换好储存的数据整合过程。其主要目的是在解决多重数据储存或合并时所产生的数据不一致、数据重复或冗余的问题，以提高后续数据分析的精确度和速度。;数据转换（datatransfer）时采用线性或非线性的数学变换方法将多维数据压缩成较少维的数据，消除他们在时间、空间、属性及精度等特征表现方面的差异。实际上就是将数据从一种表示形式变为另一种表现形式的过程。;数据转换方法

变换之后均值为0，协方差阵不变，可以用来方便地计算样本协方差阵。

中心化

变换;数据转换方法;数据转换方法

变换后数据在[0,1]之间；极差为1，无量纲。

极差正规化变换;数据归约技术可以用来得