Question

我正在尝试在我的Spark 2.1.0的本地实例上运行 Sparkling Water 。我跟踪了H2o关于Sparling Water的文档。但是当我尝试执行

时

sparkling-shell.cmd

我收到以下错误：

文件名，目录名或卷标语法不正确。

我查看批处理文件，执行以下命令时出现此错误：

C:\Users\Mansoor\libs\spark\spark-2.1.0/bin/spark-shell.cmd --jars C:\Users\Mansoor\libs\H2o\sparkling\bin\../assembly/build/libs/sparkling-water-assembly_2.11-2.1.0-all.jar --driver-memory 3G --conf spark.driver.extraJavaOptions="-XX:MaxPermSize=384m"

当我删除--conf spark.driver.extraJavaOptions="-XX:MaxPermSize=384m"时，Spark启动但我无法导入H2o包。

import org.apache.spark.h2o._

错误：对象h2o不是包org.apache.spark的成员

我尽我所能但却无法解决这个问题。有人可以帮助我吗？感谢

Answer 1

请尝试纠正您的路径：

C:\Users\Mansoor\libs\spark\spark-2.1.0/bin/spark-shell.cmd --jars C:\Users\Mansoor\libs\H2o\sparkling\bin\..\assembly\build\libs\sparkling-water-assembly_2.11-2.1.0-all.jar --driver-memory 3G --conf spark.driver.extraJavaOptions="-XX:MaxPermSize=384m"

Windows上还有关于RSparkling的文档页面，其中可能包含不同的疑难解答提示... https://github.com/h2oai/sales-engineering/tree/master/megan/RSparklingAndWindows

Answer 2

提交jar时问题在于spark-shell命令。解决方法是修改 spark-defaults.conf

将spark.driver.extraClassPath和spark.executor.extraClassPath参数添加到 spark-defaults.conf 文件中，如下所示：

spark.driver.extraClassPath    \path\to\jar\sparkling-water-assembly_version>-all.jar

spark.executor.extraClassPath   \path\to\jar\sparkling-water-assembly_version>-all.jar

从 sparkling-shell2.cmd

中删除--jars \path\to\jar\sparkling-water-assembly_version>-all.jar

H2o包没找到Scala Sparkling Water

2 个答案: