Question

我正在尝试测试Mllib的SVM实现。我想在windows上本地运行他们的java示例，使用eclipse。我已经下载了为Hadoop 2.6预先构建的Spark 1.3.1。当我尝试运行示例代码时，我得到：

15/06/11 16:17:09 ERROR Shell: Failed to locate the winutils binary in the hadoop binary path
java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.

为了能够在此设置中运行示例代码，我应该更改什么？

Answer 1

创建以下目录结构：“C：\ hadoop_home \ bin”（或用您喜欢的任何内容替换“C：\ hadoop_home”）
下载以下文件：http://public-repo-1.hortonworks.com/hdp-win-alpha/winutils.exe
将步骤2中的文件放入步骤1中的“bin”目录。
将“hadoop.home.dir”系统属性设置为“C：\ hadoop_home”（或者您在步骤1中创建的任何目录，最后没有“\ bin”）。
< / LI>

Answer 2

要在带有Maven项目的Windows eclipse中运行Spark：-

创建Scala项目并声明Scala对象。然后将项目转换为Maven（为此您应该安装m2eclipse插件-您可以在Eclipse市场中找到它）。
将创建pom.xml。，请添加以下依赖项，

<dependency>
      <groupId>org.apache.spark</groupId>
      <artifactId>spark-core_2.10</artifactId>
      <version>1.6.0</version>
</dependency>

现在，用一些示例Spark代码构建项目（应该没有任何错误）
现在按照下面的设置，
- 创建以下目录结构：“ C：\ hadoop_home \ bin”（或将“ C：\ hadoop_home”替换为您喜欢的任何内容）
- 下载以下文件：http://public-repo-1.hortonworks.com/hdp-win-alpha/winutils.exe
- 将步骤2中的文件放入步骤1中的“ bin”目录。
- 将“ hadoop.home.dir”系统属性设置为“ C：\ hadoop_home”（或您在步骤1中创建的任何目录，结尾都没有“ \ bin”）。注意：您应该在Spark代码的开头声明此属性。

System.setProperty（“ hadoop.home.dir”，“ C：// Users // Desktop // hadoop_home”）

Answer 3

<块引用>

E:\hadoop_home\bin

从以下 github 存储库的任何 hadoop-x.x.x/bin 目录下载所需的 winutils.exe 文件：https://github.com/steveloughran/winutils
将下载的winutils.exe文件放入

<块引用>

E:\hadoop_home\bin

我们在步骤 1 中创建的目录。

设置

<块引用>

hadoop.home.dir

在代码中的系统属性中：

import org.apache.spark.sql.SparkSession

object QuesCount {

  def main(args: Array[String]) = {

    System.setProperty("hadoop.home.dir", "E:\\hadoop_home")

  }
}

右键单击您的 Scala 文件 Run As> Scala Application

如何在Windows上使用eclipse在Windows上本地运行Spark

3 个答案: