02.《大数据导论》第2章 大数据获取和预处理.pptx

第二章大数据获取和预处理2.1大数据获取和预处理概述2.2大数据获取方法2.3数据预处理技术《数据科学与大数据技术导论》of1091

of10922.1大数据获取和预处理概述第二章大数据获取和预处理2.1.1数据的来源2.1.2数据质量概述2.1.3数据预处理概述

of10932.1.1数据的来源第二章大数据获取和预处理系统日志数据来自于WEB服务器日志、企业ERP系统、各种POS终端及网上支付等业务系统数据互联网数据用户通过网络所留下的痕迹（如浏览网页、发送邮件等）互联网运营商在日常运营中生成和累积的用户网络行为数据物联网数据如来自传感器、量表和其他设施的数据、定位系统数据等各种信息系统数据存储在关系型数据库或非关系型数据库中的数据

of10942.1.1数据的来源第二章大数据获取和预处理互联网每天产生的全部内容可以刻满6.4亿张DVDGoogle每天需要处理24PB的数据网民每天在Facebook上要花费234亿分钟，被移动互联网使用者发送和接收的数据高达44PB全球每秒发送290万封电子邮件，一分钟读一篇的话，足够一个人昼夜不停地读5.5年每天会有2.88万个小时的视频上传到YouTube，足够一个人昼夜不停地观看3年Twitter上每天发布5000万条消息，假设10秒就浏览一条消息，足够一个人昼夜不停地浏览16年互联网数据

of10952.1.2数据质量概述第二章大数据获取和预处理数据质量的评估标准完整性准确性一致性及时性数据记录和信息是否完整，是否存在缺失的状况数据中记录的信息和数据是否准确，是否存在异常或错误存储在不同系统中的同一个数据，是否存在差异或相互矛盾保障数据能够及时产出，这样才能体现数据的价值

of10962.1.3数据预处理第二章大数据获取和预处理数据清洗对数据进行重新审查和校验的过程数据集成将来自多个数据源数据整合归纳在一起形成一个统一的数据集合数据规约降低数据规模，但仍大致保持原数据的完整性数据变换对数据进行转换或归并，从而构成一个适合数据处理的形式数据预处理的主要流程

第二章大数据获取和预处理2.2大数据获取方法2.1大数据获取和预处理概述2.3数据预处理技术《数据科学与大数据技术导论》of1097

of10982.2大数据获取方法第二章大数据获取和预处理1分布式日志采集网络系统中，各式各样的服务产生的各种日志文件的采集2网络爬虫自动在互联网中进行数据信息的采集与整理3其他获取方法APP应用获取传感器设备获取应用系统获取

of10992.2.1分布式日志采集第二章大数据获取和预处理1.分布式采集流程（1）分布式日志采集与分析的主要流程日志采集组件将日志以消息的方式通过数据管道发送到日志分析组件，并最终生成存储文件。

of109102.2.1分布式日志采集第二章大数据获取和预处理这一流程可以想象为教师评判作业的过程

of109112.2.1分布式日志采集第二章大数据获取和预处理（2）分布式日志采集流程中的主要部分及功能采集组件离线采集和在线采集数据管道连接采集组件及日志分析组件的数据通道日志处理将非结构化的日志记录转化为结构化的易于存储和检索的日志信息存储与检索日志收集后进行存储并提供检索与分析功能

of109122.2.1分布式日志采集第二章大数据获取和预处理2.日志采集关键技术（1）日志采集模式一般的日志采集可以分为两种模式：推模式和拉模式推模式由Agent主动的向目的端发送日志，目的端在接收到日志之后将数据存储起来拉模式由Master主动发起日志获取动作，然后在各个Agent上将日志拉到Master节点

of109132.2.1分布式日志采集第二章大数据获取和预处理2.日志采集关键技术（2）消息队列传递模式采用异步通信降低应用耦合，保证消息的顺序性、可靠性。主要有两种消息传递模式：点对点传递模式、发布-订阅模式。

of109142.2.1分布式日志采集第二章大数据获取和预处理点对点消息传递模式（一对一）消息生产者将消息发送到一个队列中，此时，将有一个或多个消费者消费队列中的消息。但是一个消息只能被消费一次。当一个消费者消费了队列中的某个消息之后，该消息将从消息队列中删除。Consumes1Consumes2……ConsumesmProducer1Producer2……ProducernMSGMSGQueue

of109152.2.1分布式日志采集第二章大数据获取和预处理发布-订阅消息传递模式在发布-订阅模式中，消息生产者将消息发布到一个Topic中，消费者可以订阅一个或多个Topic，同一个消息也可以被多个消费者消费，消息被消费后不会立即删除。Subscriber1Subscriber2……Su