大数据完整版电子课件.ppt

;大数据技术与应用;第1章 大数据概论;导学; 大数据（Big Data）指的是所涉及的资料量规模巨大到无法通过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。;1.1大数据技术简介;1.1.2大数据的主要来源 信息管理系统 企业内部使用的信息系统，如办公自动化、业务管理系统等。主要是通过用户输入和系统的二次加工的方式生成的数据，多为结构化数据。 网络信息系统 如电子商务系统、社交网络、社会媒体等。这类系统多为半结构化或无结构化数据，与前者的区别在于，内部使用不接入外部公共网络。 物联网系统 通过传感器获取外界的物理、化学、生物等数据信息 科学实验系统 主要用于学术科学研究，其环境是预先设定的，数据既可以是由真实实验产生，也可以通过模拟方式获取仿真的。 ;1.1.3数据生成的三种主要方式 从数据库技术诞生以来，产生大数据的方式主要经过了三个发展阶段： 被动式生成数据 采用数据库技术阶段数据的产生是被动的，数据时随着业务系统的运行产生的。 主动式生成数据 Web2.0、移动互联网的发展使人们可以随时随地通过移动终端生成数据，人们开始主动地生成数据。 感知式生成数据 感知技术的发展促进了数据生成方式发生了根本性的变化，如遍布城市各个角落的摄像头等数据采集设备源源不断地自动采集、生成数据。 ;1.1.4 大数据的特点;1.1.5大数据的处理流程;1.1.6 大数据的数据格式 结构化信息：这种信息可以在关系数据库中找到，多年来一直主导着IT应用，是关键任务OLTP(联机事务处理)系统业务所依赖的信息。另外，这种信息还可对结构数据库信息进行排序和查询。 半结构化信息：包括电子邮件、文字处理文件及大量保存和发布在网络上的信息。 非结构化信息：该信息在本质形式上可认为主要是位映射数据。;1.1.7 大数据的特征 大数据呈现出“4V+1O”的特征，具体如下： 数据量大（Volume） 多样化（Variety） 数据价值密度化（Value） 速度快，时效高（Velocity） 数据是在线的（On-Line）;1.1.8 大数据的应用领域;1.2???数据的技术架构;1.3大数据的整体技术;1.4大数据分析的四种典型工具简介;3．Storm Storm是一种开源软件，一个分布式、容错的实时计算系统。 4．Apache Drill 为了帮助企业用户寻找更为有效、加快Hadoop数据查询的方法，Apache软件基金会发起了一项名为Drill的开源项目。Apache Drill实现了Google’s Dremel。;1.5大数据未来发展趋势;1.5.2 数据科学和数据联盟的成立 1．催生新的学科和行业 数据科学将成为一门专门的学科，被越来越多的人所认知。越来越多的高校开设了与大数据相关的学科课程，为市场和企业培养人才。 2．数据共享 数据可能成为一种共享的趋势。;1.5.3 大数据隐私和安全问题 1．大数据引发个人隐私、企业和国家安全问题 大数据时代将引发个人隐私安全问题。 大数据时代，企业将面临信息安全的挑战。 大数据时代，大数据安全应该上升为国家安全。 2．正确合理利用大数据，促进大数据产业的健康发展 大数据时代，必须对数据安全和隐私进行有效的保护;1.5.4 开源软件成为推动大数据发展的动力 大数据获得动力的关键在于开放源代码，帮助分解和分析数据。开源软件的盛行不会抑制商业软件的发展。相反，开源软件将会给基础架构硬件、应用程序开发工具、应用服务等各个方面相关领域带来更多的机会。;1.5.5 大数据在多方位改善我们的生活 大数据作为一种重要的战略资产，已经不同程度地渗透到每个行业领域和部门。现在，通过大数据的力量，用户希望掌握真正的便捷信息，从而让生活更有趣。;本章小结 近年来大数据应用带来了令人瞩目的成绩。作为新的重要资源，世界各国都在加快大数据的战略布局，制定战略规划。 总而言之，大数据技术的发展必将解开宇宙起源的奥秘和对人类社会未来发展的趋势有推动作用。;大数据技术与应用;第2章大数据采集及预处理;导学;2.1数据采集简介;2.1.2 数据采集的数据来源 按照数据来源划分，大数据的三大主要来源为：商业数据、互联网数据与物联网数据。 ;1．商业数据 商业数据是指来自于企业ERP系统、各种POS终端及网上支付系统等业务系统的数据，是现在最主要的数据来源渠道。;2．互联网数据 互联网数据是指网络空间交互过程中产生的大量数据，包括通