hadoop基于Hadoop的Map.pdfVIP

hadoop:基于Hadoop的Map reduce编程 (一) 疯狂代码 http://CrazyC/ ĵ http:/CrazyC/Java/Article47014.html 　　翻译篇国外有关hadoop mapreduce文章文章比较长先翻译第部分吧 　　翻译者:pconlin900 　　博客: 　　Hadoop是apache个开源map-reduce框架MapReduce是个并行计算模型用来处理海量数据模型思想来 源于googleJeffrey Dean 和 Sanjay Ghemawat包括map reduce两个主要功能 　　这是个很简单类似于HadoopMapReduce应用例子应用了mapreduce基本思想可以帮助理解hadoop处理 思想和技术但注意它没有使用hadoop框架 　　例子功能是创建些串然后统计这些串里面每个出现次数最后汇总得到总出现次数 　　Listing 1. 主 public Main { 　　public void (String args) 　　{ 　　　　MyMapReduce my = MyMapReduce; 　　　　my.init; 　　} } Listing 2. MyMapReduce.java import java.util.*; public MyMapReduce { List buckets = ArrayList; List ermediateresults = ArrayList; List values = ArrayList; public void init { for( i = 1; i=30; i) { values.add( + Integer(i).toString); } .out.prln(**STEP 1 START**- Running Conversion o Buckets**); .out.prln; List b = step1ConvertIntoBuckets(values,5); 　　　　.out.prln(************STEP 1 COMPLETE*************); 　　　　.out.prln; 　　　　.out.prln; 　 .out.prln(**STEP 2 START**-Running **Map Function** concurrently for all　　　　Buckets); .out.prln; List res = step2RunMapFunctionForAllBuckets(b); .out.prln(************STEP 2 COMPLETE*************); 　　　　.out.prln; 　　　　.out.prln; .out.prln(**STEP 3 START**-Running **Reduce Function** for collating Intermediate Results and Pring Results); .out.prln; step3RunReduceFunctionForAllBuckets(res); .out.prln(************STEP 3 COMPLETE*************); 　　　　　　　　　.out.prln(************pconline900 翻译*************); 　　　　　　　　　.out.prln(***********博客:*************); } public List step1ConvertIntoBuckets(List list, numberofbuckets) { n = list.size; m = n / numberofbuckets; rem = n% numberofbuckets; count = 0; .out.prln(BUCKETS); for( j =1; j= numberofbuckets; j) { List temp = ArrayList; for( i=1; i= m; i) { temp.add((String)values.get(count)); count; } buckets.ad