数据视野 大数据时代的技术变革和IT人的挑战.pdf

@数据视野 大数据时代的技术变革和IT人的挑战 Dasight, datainsight@ April 2012 Transform to the power of data 主要内容  从RDBMS到Big Data  Hadoop及其程序设计要点  大数据从业人员的技术挑 战及其职业道路 RDBMS时代，数据库能为我们做什么？ RDBMS到Big Data Hadoop及其程序设计 技术挑战与职业发展 索引 查询 交易 OLTP VS. OLAP RDBMS到Big Data Hadoop及其程序设计 技术挑战与职业发展 交易 分析 为什么需要大数据与Hadoop？ RDBMS到Big Data Hadoop及其程序设计 技术挑战与职业发展 FAST CHEAP Google的“三驾马车” RDBMS到Big Data Hadoop及其程序设计 技术挑战与职业发展 HDFS MapReduce HBase Hadoop的发展史 RDBMS到Big Data Hadoop及其程序设计 技术挑战与职业发展 •Hadoop最早作为Nutch的一个模块被引入，Nutch又是Lucene的一个子 项目 Lucene是Apache下的一个全文索引引擎 Nutch是一个完整的搜索引擎，它以Lucene为核心 Hadoop的用途在于分析Nutch爬虫抓取的WEB页面并为其建立索引 •2003年Google发表论文介绍GFS文件系统，2004年HDFS(NDFS)项目建立 •2004年Google发表论文介绍MapReduce算法，2005年Nutch中实现了 MapReduce算法 •2006年2月Hadoop独立成Lucene的一个子项目，与此同时，Hadoop创 始人Doug Cutting加入YAHOO •2007年11月纽约时报利用亚马逊EC2和Hadoop将4TB的报纸扫描件转化 成PDF •2008年1月Hadoop成为Apache顶级项目（Top-Level Project） •2008年2月YAHOO宣布其生产网利用Hadoop集群为搜索引擎建立索引， 集群规模超过1万个CPU核心 大数据与Hadoop RDBMS到Big Data Hadoop及其程序设计 技术挑战与职业发展 大数据技术的本质： •海量数据的快速查询 •海量数据的归档与保存 大数 •数据汇总与报表 据 •数据挖掘 •预测 STORM Hadoop与大数据： 1、Hadoop ≠大数据库 2 、Hadoop是目前发展的最为成熟的大数据库技术 3 、Hadoop是一种较为通用的大数据技术 4 、后起之秀：STORM 、SPARK Hadoop的生态圈 RDBMS到Big Data Hadoop及其程序设计 技术挑战与职