我应该在我的火花应用程序中包含hadoop-common或hadoop-core

时间:2015-02-12 10:31:24

标签: java maven hadoop apache-spark

我正在尝试在本地运行一个简单的字数计数spark应用程序,并从远程hadoop集群中读取文件。

在maven依赖项中,在我的依赖项中添加hadoop-core(最后一个版本1.2.1)以获取此异常

Could not locate executable null\bin\winutils.exe in the Hadoop binaries

然后我又得到了另一个例外

Server IPC version 9 cannot communicate with client version 4

所以我在我的依赖项中包含了hadoop-common(最新版本2.6.0)。

在此阶段,第一个异常再次被抛出。

这是什么问题?我相信存在依赖冲突,但我无法弄明白。

1 个答案:

答案 0 :(得分:0)

您的Spark版本是否使用正在使用的正确Hadoop版本构建? 您可以从Apache Spark下载页面获取预构建的版本。希望这会有所帮助..

http://spark.apache.org/downloads.html