我一直在尝试通过命令行查找有关如何提交hadoop作业的信息。
我知道命令 - hadoop jar jar文件主类输入输出
还有另一个命令,我试图找到信息,但还没能 - hadoop job -submit job-file
什么是“工作文件”,我该如何创建?命令(a。)和(b。)之间的基本区别是什么?哪个是更好的选择?
提前致谢。
答案 0 :(得分:1)
以下是运行wordcount Map-reduce作业的作业文件示例。 同样,您可以为Map-Reduce作业编写作业文件。
mapred.input.dir=data/file1.txt
mapred.output.dir=output
mapred.job.name=wordcount
mapred.mapper.class=edu.uci.ics.hyracks.examples.wordcount.WordCount$Map
mapred.combiner.class=edu.uci.ics.hyracks.examples.wordcount.WordCount$Reduce
mapred.reducer.class=edu.uci.ics.hyracks.examples.wordcount.WordCount$Reduce
mapred.input.format.class=org.apache.hadoop.mapred.TextInputFormat
mapred.output.format.class=org.apache.hadoop.mapred.TextOutputFormat
mapred.mapoutput.key.class=org.apache.hadoop.io.Text
mapred.mapoutput.value.class=org.apache.hadoop.io.IntWritable
mapred.output.key.class=org.apache.hadoop.io.Text
mapred.output.value.class=org.apache.hadoop.io.IntWritable
对我而言,“Hadoop Jar”更好用,在作业文件中完成的配置可以在程序本身轻松完成。 感谢