Question

我试图获得与aws玩得很好的火花。在Windows环境中工作。

无论我尝试过什么选项，都找不到NativeS3类。目前，如果我使用：spark-shell --packages com.amazonaws:aws-java-sdk-s3:1.10.38,com.amazonaws:aws-java-sdk-core:1.10.38,org.apache.hadoop:hadoop-aws:2.7.1作为我的命令，那么我将dwnload文件，并可以使用s3然而感觉hacky并下载它们每一个领带是不理想的。

在另一个人的帮助下，我一直在尝试其他选择，导致：

>spark-shell --driver-class-path=C:\Spark\hadoop\share\hadoop\common\lib\hadoop-aws-2.7.1.jar;C:\Spark\hadoop\share\hadoop\common\lib\aws-java-sdk-1.7.4.jar" --verbose

复制不存在的文件时出错，我改变了temp的路径只是为了掩盖权限疑问但是这个错误仍然存在：

   C:\java_1.7\jdk1.7.0_79\bin\java -cp "C:\Spark\hadoop\share\hadoop\common\lib\hadoop-aws-2.7.1.jar;C:\Spark\hadoop\share\hadoop\common\lib\aws-java-sdk-1.7.4.jar --verbose > c:\temp\spark-class-launcher-output-4879.txt;C:\Spark\bin\..\conf
Xms1g -Xmx1g "-XX:MaxPermSize=256m" org.apache.spark.deploy.SparkSubmit --conf "spark.driver.extraClassPath=C:\Spark\hadoop\share\hadoop\common\lib\hadoop-aws-2.7.1.jar;C:\Spark\hadoop\share\hadoop\common\lib\aws-java-sdk-1.7.4.jar --verbo
The system cannot find the file c:\temp\spark-class-launcher-output-4879.txt.
Could Not Find c:\temp\spark-class-launcher-output-4879.txt

它被精确定位到spark-class2.cmd文件中的这一特定行，但我不知道如何解决它。

https://github.com/apache/spark/blob/master/bin/spark-class2.cmd#L59

任何人都可以放任何光吗？提前谢谢

Answer 1

引起我注意的一件事是错误中的驱动器号

C：\气温\火花类发射器 - 输出 - 4879.txt

这是一个小案例。检查spark-class2.cmd的代码表示它读出％temp％variable。

您可以在Windows命令行中运行echo %temp%以查看设置内容吗？

如果设置为小写，则只需运行set temp=C:\temp

然后使用驱动程序类运行spark-shell。

谢谢，

查尔斯。

Answer 2

我也有足够好的时间来解决这个问题。后来我发现JAVA_HOME路径配置错误的问题。一旦我配置了明确的路径，问题就解决了。

另外，请尝试按照链接中提到的说明操作： https://jaceklaskowski.gitbooks.io/mastering-apache-spark/content/spark-tips-and-tricks-running-spark-windows.html

给出--driver-class-path时，spark找不到spark-class-launcher-output文件

2 个答案: