如何在Windows上使用eclipse在Windows上本地运行Spark

Question

我正在尝试测试Mllib的SVM实现。我想在windows上本地运行他们的java示例，使用eclipse。 我已经下载了为Hadoop 2.6预先构建的Spark 1.3.1。 当我尝试运行示例代码时，我得到：

15/06/11 16:17:09 ERROR Shell: Failed to locate the winutils binary in the hadoop binary path
java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.

为了能够在此设置中运行示例代码，我应该更改什么？

Answer 1

1. 创建以下目录结构：“C：\ hadoop_home \ bin”（或用您喜欢的任何内容替换“C：\ hadoop_home”）

2. 下载以下文件：http://public-repo-1.hortonworks.com/hdp-win-alpha/winutils.exe

3. 将步骤2中的文件放入步骤1中的“bin”目录。

4. 将“hadoop.home.dir”系统属性设置为“C：\ hadoop_home”（或者您在步骤1中创建的任何目录，最后没有“\ bin”）。

   < / LI>

Answer 2

要在带有Maven项目的Windows eclipse中运行Spark：-

1. 创建Scala项目并声明Scala对象。然后将项目转换为Maven（为此您应该安装m2eclipse插件-您可以在Eclipse市场中找到它）。
2. 将创建pom.xml。，请添加以下依赖项，

<dependency>
      <groupId>org.apache.spark</groupId>
      <artifactId>spark-core_2.10</artifactId>
      <version>1.6.0</version>
</dependency>

1. 现在，用一些示例Spark代码构建项目（应该没有任何错误）

2. 现在按照下面的设置，

   • 创建以下目录结构：“ C：\ hadoop_home \ bin”（或将“ C：\ hadoop_home”替换为您喜欢的任何内容）
   • 下载以下文件：http://public-repo-1.hortonworks.com/hdp-win-alpha/winutils.exe
   • 将步骤2中的文件放入步骤1中的“ bin”目录。
   • 将“ hadoop.home.dir”系统属性设置为“ C：\ hadoop_home”（或您在步骤1中创建的任何目录，结尾都没有“ \ bin”）。 注意：您应该在Spark代码的开头声明此属性。

System.setProperty（“ hadoop.home.dir”，“ C：// Users // Desktop // hadoop_home”）

Answer 3

1. 创建目录：

<块引用>

E:\hadoop_home\bin

2. 从以下 github 存储库的任何 hadoop-x.x.x/bin 目录下载所需的 winutils.exe 文件：https://github.com/steveloughran/winutils

3. 将下载的winutils.exe文件放入

<块引用>

E:\hadoop_home\bin

我们在步骤 1 中创建的目录。

4. 设置

<块引用>

hadoop.home.dir

在代码中的系统属性中：

import org.apache.spark.sql.SparkSession

object QuesCount {

  def main(args: Array[String]) = {

    System.setProperty("hadoop.home.dir", "E:\\hadoop_home")

  }
}

5. 右键单击您的 Scala 文件 Run As> Scala Application