有没有办法在IntelliJ上创建Hadoop项目？

Question

大多数教程都涉及下载VM以使用Hadoop。 有没有办法从头开始创建Hadoop项目，或使用IntelliJ导入现有项目？

此外，我正在使用Windows 10，添加环境变量HADOOP_HOME和JAVA_HOME似乎无法正常工作。

这是我遇到的错误：

Error: JAVA_HOME is incorrectly set.
   Please update C:\Hadoop\hadoop-2.7.2\conf\hadoop-env.cmd

但是，我的JAVA_HOME 设置正确。

Answer 1

Hadoop的全部意义在于您拥有运行MapReduce任务的节点集群。 MapReduce作业只是可以在任何IDE（如IntelliJ）中创建的Java程序。然后，可以在群集上运行此代码。如果您没有群集，则需要创建一个下载VM的时间。

但是，如果您只是在计算机上运行它，那么您没有必要使用MapReduce，因为您的群集将是虚拟的，因此您不会获得性能提升。听起来你对Hadoop是什么有误解。进行更多研究以了解为什么你要做的事情不起作用。