第1章大数据的起源和发展.ppt

第 1 章 大数据的起源和发展 1 大数据起源及定义 大数据特征 大数据构成 大数据面临的机遇和挑战 2 3 4 1.1 大数据起源及定义 1. 大数据起源 半个世纪以来，随着计算机技术全面融入社会生活，信息爆炸已经积累到了 一个开始引发变革的程度。它不仅使世界充斥着比以往更多的信息，而且其增长 速度也在加快。互联网（社交、搜索、电商）、移动互联网（微博）、物联网 （传感器，智慧地球）、车联网、 GPS 、医学影像、安全监控、金融（银行、股 市、保险）、电信（通话、短信）都在疯狂产生着数据。 ? 全球每秒钟发送 2.9 百万封电子邮件，一分钟读一篇的话， 足够一个人昼夜不息的读 5.5 年… ? 每天会有 2.88 万个小时的视频上传到 Youtube ，足够一个 人昼夜不息的观看 3.3 年… ? 推特上每天发布 5 千万条消息，假设 10 秒钟浏览一条信 息，这些消息足够一个人昼夜不息的浏览 16 年… ? 每天亚马逊上将产生 6.3 百万笔订单… ? 每个月网民在 Facebook 上要花费 7 千亿分钟，被移动互 联网使用者发送和接收的数据高达1.3EB… ? Google 上每天需要处理 24PB 的数据… 1. 大数据起源 数据量增加 数据结构日趋复杂 大量新数据源的出现则导致了 非结构化 、 半结构化 数据爆发式的增长 根据 IDC 监测，人类产生的数据量正在呈指数级增 长，大约每两年翻一番，这个速度在 2020 年之前 会继续保持下去。这意味着人类在最近两年产生的 数据量相当于之前产生的全部数据量。 TB PB EB ZB ? 这些由我们创造的信息背后产生的这些数据早已经远远超越了目前人 力所能处理的范畴 ? 大数据时代正在来临… 1. 大数据起源 20 世纪 90 年代，数据仓库之父的 Bill Inmon 就经常提及 Big Data 。 2011 年 5 月，在“云计算相遇大数据”为主题的 EMC World 2011 会议中， EMC 抛出了 Big Data 概念。 2. 大数据在计算机科学中处于最前沿 3. 大数据定义 ? ? 定义一： 大数据指的是那些大小超过标准数据库工具软件能够收集、存储、管理 和分析的数据集。 —— 摘自麦肯锡 定义二： 在信息技术中，“大数据”是指一些使用目前现有数据库管理工具或传 统数据处理应用很难处理的大型而复杂的数据集。其挑战包括采集、管理、存储、 搜索、共享、分析和可视化。 —— 摘自 WIKI ? 定义三： 大数据 是需要新处理模式才能具有更强的决策力、洞察发现力和流程 优化能力的海量、高增长率和多样化的信息资产。从数据的类别上看， 大数据 指的是无法使用传统流程或工具处理或分析的信息。它定义了那些超出正常处理 范围和大小、迫使用户采用非传统处理方法的数据 集。 —— 摘自 Gartner ? 定义四： 大数据本质上是数据交叉、方法交叉、知识交叉、领域交叉、学科交叉， 从而产生新的科学研究方法、新的管理决策方法、新的经济增长方式、新的社会 发展方式等等。 —— 摘自复旦大学朱扬勇教授 1.2 大数据特征 大数据的 4V 特征 大体量 (Volume) 、 多样性 (Variety) 、 快速化 (Velocity) 、 价值 密度低 （ Value ）”就是“大数据”的显著特征，简称 4V 特征。 大体量（ Volume) ? 数据基本单位换算： ? 1B(byte 字节） = 8b （ bit 位） ? 1KB(Kilobyte 千字节 )=1024B ? 1MB(Megabyte ，简称“兆” )=1024KB ? 1GB(Gigabyte ， 简称“吉”，又称“千兆” )=1024MB ? 1TB(Trillionbyte ，简称“太”)=1024GB≈10^3GB ? 1PB(Petabyte ，简称“拍”字节）=