我正在尝试在本地运行一个简单的字数计数spark应用程序,并从远程hadoop集群中读取文件。
在maven依赖项中,在我的依赖项中添加hadoop-core(最后一个版本1.2.1)以获取此异常
Could not locate executable null\bin\winutils.exe in the Hadoop binaries
然后我又得到了另一个例外
Server IPC version 9 cannot communicate with client version 4
所以我在我的依赖项中包含了hadoop-common(最新版本2.6.0)。
在此阶段,第一个异常再次被抛出。
这是什么问题?我相信存在依赖冲突,但我无法弄明白。
答案 0 :(得分:0)
您的Spark版本是否使用正在使用的正确Hadoop版本构建? 您可以从Apache Spark下载页面获取预构建的版本。希望这会有所帮助..