我已经安装了hadoop2.7.3并使用hadoop site中的官方代码运行典型的MapReduce程序。为了运行MapReduce程序,我使用Intellij IDE并创建了一个Maven项目。我添加了dataSet
依赖项并创建了一个我设置hadoop-core
字段的新运行配置
在那里。
所以我有两个问题:
1-我在项目目录中将Program arguments
设置为Program arguments
和input
,我的输入文件位于output
目录中。我们知道input
目录是input
目录,我的问题是如何将local
的输入传递给我的MapReduce程序?我已经尝试在HDFS中创建输入目录并将其地址(在hdfs下)传递给HDFS
,但它出错了!
2-我的第二个问题是,我们是否需要安装Program argument
来运行这样的mapreduce程序?您知道我将hadoop
添加到依赖项中,程序使用它来运行,我觉得不需要安装hadoop-core
。