厦大大数据技术原理与应用第七章MapReduce.ppt

7.6.2编写Map处理逻辑Map输入类型为key,value期望的Map输出类型为单词，出现次数Map输入类型最终确定为Object,TextMap输出类型最终确定为Text,IntWritablepublicstaticclassMyMapperextendsMapperObject,Text,Text,IntWritable{ privatefinalstaticIntWritableone=newIntWritable(1); privateTextword=newText(); publicvoidmap(Objectkey,Textvalue,Contextcontext)throwsIOException,InterruptedException{ StringTokenizeritr=newStringTokenizer(value.toString()); while(itr.hasMoreTokens()) { word.set(itr.nextToken()); context.write(word,one); } }}《大数据技术原理与应用》厦门大学计算机科学系林子雨ziyulin@*厦门大学计算机科学系2016年新版

第七章MapReduce

（PPT版本号：2016年3月30日版本）《大数据技术原理与应用》/post/bigdata温馨提示：编辑幻灯片母版，可以修改每页PPT的厦大校徽和底部文字提纲7.1 概述7.2MapReduce体系结构7.3 MapReduce工作流程7.4 实例分析：WordCount7.5 MapReduce的具体应用7.6 MapReduce编程实践欢迎访问《大数据技术原理与应用》教材官方网站：/post/bigdata本PPT是如下教材的配套讲义：21世纪高等教育计算机规划教材《大数据技术原理与应用——概念、存储、处理、分析与应用》（2015年8月第1版）厦门大学林子雨编著，人民邮电出版社ISBN:978-7-115-39287-97.1 概述7.1.1 分布式并行编程7.1.2 MapReduce模型简介7.1.3 Map和Reduce函数7.1.1 分布式并行编程“摩尔定律”，CPU性能大约每隔18个月翻一番从2005年开始摩尔定律逐渐失效，需要处理的数据量快速增加，人们开始借助于分布式并行编程来提高程序性能分布式程序运行在大规模计算机集群上，可以并行执行大规模数据处理任务，从而获得海量的计算能力谷歌公司最先提出了分布式并行编程模型MapReduce，HadoopMapReduce是它的开源实现，后者比前者使用门槛低很多7.1.1 分布式并行编程问题：在MapReduce出现之前，已经有像MPI这样非常成熟的并行计算框架了，那么为什么Google还需要MapReduce？MapReduce相较于传统的并行计算框架有什么优势？传统并行计算框架MapReduce集群架构/容错性共享式(共享内存/共享存储)，容错性差非共享式，容错性好硬件/价格/扩展性刀片服务器、高速网、SAN，价格贵，扩展性差普通PC机，便宜，扩展性好编程/学习难度what-how，难what，简单适用场景实时、细粒度计算、计算密集型批处理、非实时、数据密集型7.1.2 MapReduce模型简介MapReduce将复杂的、运行于大规模集群上的并行计算过程高度地抽象到了两个函数：Map和Reduce编程容易，不需要掌握分布式并行编程细节，也可以很容易把自己的程序运行在分布式系统上，完成海量数据的计算MapReduce采用“分而治之”策略，一