在Windows 8 x64 PC上为本地主机模式编译Apache spark 1.1.0?查看具体错误

时间:2014-10-30 15:00:42

标签: windows hadoop apache-spark localhost

我已经明确安装了Java 8 SDK,Scala-IDE(修改过的eclipse),普通的Eclipse IDE,而sbt虽然没有按顺序安装。我真的不记得我安装它们的顺序。当我安装了vanilla Eclipse IDE和Scala IDE而不仅仅是命令行工具时,我有点困惑如何设置我的环境变量,因为这些安装似乎组织了与命令行安装不同的语言环境?所以我不是要把变量指向什么?

我的理解是CLASS_PATH环境变量用于用户定义的类,对于我当前的项目,我没有。超出此。我有以下环境变量设置。 我在Windows 8 x64

SBT_HOME = C:\Program Files (x86)\sbt

JRE_HOME = C:\Program Files\Java\jre1.8.0_20

JAVA_HOME = C:\Program Files\Java\jdk1.8.0_20

Path = %JRE_HOME%\bin;%JAVA_HOME%\bin;C:\ProgramData\Oracle\Java\javapath;C:\Program Files (x86)\scala\bin;C:\Program Files (x86)\sbt\bin;...(only relevant paths shown)

下载并解压缩Apache Spark 1.1.0并解压缩并进入未压缩的顶级文件夹~/(apache spark folder)/,并尝试运行sbt/sbt assembly,我使用cygwin命令提示符收到以下错误。

[error] (streaming-flume-sink/compile:compile) java.io.IOException: Cannot run p
rogram "javac": CreateProcess error=2, The system cannot find the file specified

[error] (core/compile:compile) java.io.IOException: Cannot run program "javac":
CreateProcess error=2, The system cannot find the file specified
[error] Total time: 551 s, completed Oct 28, 2014 5:24:00 PM

所以错误似乎是我无法在cygwin中运行javac。好吧,我不能。所以我也尝试了windows提示符,我的命令javac实际上正常工作(因为enviro变量已经设置好了。)并且在再次尝试时出现以下错误

`sbt/sbt assembly`. 
C:\Program Files (x86)\spark-1.1.0>sbt\sbt assembly
'sbt\sbt' is not recognized as an internal or external command,
operable program or batch file.
>sbt/sbt assembly
Java HotSpot(TM) 64-Bit Server VM warning: ignoring option MaxPermSize=256m; sup
port was removed in 8.0
[info] Loading project definition from C:\Program Files (x86)\spark-1.1.0\project\projec
t
[info] Loading project definition from C:\Users\jim\.sbt\0.13\staging\ec3aa8f391
11944cc5f2\sbt-pom-reader\project
[warn] Multiple resolvers having different access mechanism configured with same
 name 'sbt-plugin-releases'. To avoid conflict, Remove duplicate project resolve
rs (`resolvers`) or rename publishing resolver (`publishTo`).
[info] Loading project definition from C:\Program Files (x86)\spark-1.1.0\project
[error] Expected symbol
[error] Not a valid command: /
[error] /sbt
[error]  ^

但是同一命令的各种变体都不起作用,切换出斜杠类型(sbt\sbt assembly)。

我在没有空格的文件夹中也有火花:C:\Program Files (x86)\spark

我需要做些什么来组装/编译Spark?

万分感谢。

1 个答案:

答案 0 :(得分:0)

在Windows8中遇到同样的问题,并按照以下步骤修复了问题

  • 创建一个没有空间的文件夹,并复制Program Files / Java中的内容
  • 将PATH和JAVA_HOME更新为新路径
  • 启动Cygwin并尝试运行javac命令以确保正确设置环境变量
  • 虽然与此问题无关,但Scala Installed目录不应有任何空间。我看到你已安装在Program Files