如何为MapReduce程序传递HDFS输入数据

时间:2017-06-21 11:36:32

标签: hadoop intellij-idea mapreduce

我已经安装了hadoop2.7.3并使用hadoop site中的官方代码运行典型的MapReduce程序。为了运行MapReduce程序,我使用Intellij IDE并创建了一个Maven项目。我添加了dataSet依赖项并创建了一个我设置hadoop-core字段的新运行配置  在那里。

enter image description here

所以我有两个问题:

1-我在项目目录中将Program arguments设置为Program argumentsinput,我的输入文件位于output目录中。我们知道input目录是input目录,我的问题是如何将local的输入传递给我的MapReduce程序?我已经尝试在HDFS中创建输入目录并将其地址(在hdfs下)传递给HDFS,但它出错了!

2-我的第二个问题是,我们是否需要安装Program argument来运行这样的mapreduce程序?您知道我将hadoop添加到依赖项中,程序使用它来运行,我觉得不需要安装hadoop-core

0 个答案:

没有答案