eclipsehadoop编程入门grails介绍十四周.pdfVIP

Hadoop编程

参见WordCount.code.txt

Mapper实现

–输入即为Text

–输出为OutputCollector

–状态输出为Reporter

Reducer实现

–单词保存在key

–计数保存在values

–输出到OutputCollector

Hadoop——哪里放置配置参数？

源代码？是否一改动就要重新编译打包部署？

从配置文件——需要源代码从DistributedCache

使用第jar包时，是否用libjars却无效？

使用ToolRunner

–早期WordCount代码

publicclassWordCount{//略...

publicstaticvoidmain(String[]args)throwception{

Configurationconf=newConfiguration();

String[]otherArgs=newGenericOptionsParser(conf,

args).getRemainingArgs();//略...

Jobjob=newJob(conf,wordcount);//略...

System.exit(job.waitForCompletion(true)?0:1);

}

}

–GenericOptionsParser自动将命令行参数设置到Conf中

Hadoop编程

现在WordCount的代码

publicclassWordCountextendsConfiguredimplementsTool{

@Override

publicintrun(String[]arg0)throwception{

Jobjob=newJob(getConf(),wordcount);//略...

System.exit(job.waitForCompletion(true)?0:1);

return0;

}

publicstaticvoidmain(String[]args)throwception{

intres=ToolRunner.run(newConfiguration(),newWordCount(),args);

System.exit(res);

}

}

Hadoop编程

Eclipse中创建Hadoop项目的建议

–没有Hadoop插件

–并解压缩hadoop发布包

–创建Java项目

–将解压后hadoop源码包/src中core,hdfs,mapred,tool几个（其它几个源码根据需

要进行选择）copy到eclipse新建项目的src

–eclipse项目，选择“Properties”，在弹出框中左边菜单选择“JavaBuild

Path”

•点击“Source”。先删除src这个，然后依次添加刚才copy过来的

•点击当前框“Libaries”，点击“AddExternalJARs”，在弹出窗口中添加$HADOOP_HOME下

几个hadoop程序jar包，然后再次添加$HADOOP_HOME/lib、$HADOOP_HOME/lib/jsp-2.1两个

下所有jar包，最后还要添加ANT项目lib下ant.jar文件

Hadoop编程

