我的代码java中的IOException

Question

我使用java使用spark，每当我尝试运行我的代码时，在这行代码中出现IOException：

     SparkConf conf = new SparkConf().setAppName("myapp").setMaster("local[*]");
     JavaSparkContext sc = new JavaSparkContext(conf);

此例外的细节是：

Could not locate executable null\bin\winutils.exe in the Hadoop binaries.

当我尝试下载winutils.exe并安装它时，我收到了这条消息：

the program cant start bcz MSVCR100.dll is misssing

所以我该如何解决呢？

Answer 1

您需要将HADOOP_HOME变量设置为某个路径。将winutils.exe放在%HADOOP_HOME%\bin内。

对于MSVCR100.dll，请下载并安装。

确保根据您的机器配置下载32位/ 64位winutils.exe和dll。

以下是在Windows上设置spark的链接： How to run Apache Spark on Windows7 in standalone mode

希望它可以帮助你..

Answer 2

最后我解决了这个问题，我只是按照这个链接中解释的方式，它简单明了，高效 链接： http://teknosrc.com/spark-error-java-io-ioexception-could-not-locate-executable-null-bin-winutils-exe-hadoop-binaries/ 想要感谢#Nishu Tayal