通过spark包使用sparkling-water:com.google.guava ...找不到

时间:2017-02-17 02:50:25

标签: apache-spark sparkling-water

我试图通过火花套装来使用H2O.ai的苏打水。我跟随他们的向导:https://github.com/h2oai/sparkling-water#use-sparkling-water-via-spark-packages我在使用Scala 2.10和Spark 1.6.1的Hortonworks HDP 2.4上。我把以下内容放在我的终端中:

Iter

然而,它抱怨找不到两件文物。以下是详细信息:

spark-shell --packages ai.h2o:sparkling-water-core_2.10:1.6.8,ai.h2o:sparkling-water-examples_2.10:1.6.8

任何人都有经验如何解决它?非常感谢。

3 个答案:

答案 0 :(得分:0)

如果您查找“下载失败:com.google.guava#guava; 16.0.1!guava.jar”错误,您会发现它主要是一个特定于环境的问题,在应用程序期间无法下载程序包推出。

您的解决方案可能是单独下载/安装失败的下载软件包,如下所示:

$ mvn install com.google.guava:guava:21.0:get -DrepoUrl=https://mvnrepository.com

答案 1 :(得分:0)

看起来像是降低了jar文件的版本

spark-shell --packages ai.h2o:sparkling-water-core_2.10:1.6.1,ai.h2o:sparkling-water-examples_2.10:1.6.1

或使用Sparkling Water Booklet

第5.1.1节中建议的fatjar
spark-shell --jars [your path]/sparkling-water-1.6.8/assembly/build/libs/sparkling-water-assembly-1.6.8-all.jar

解决了这个问题。从H2O下载sparkling-water-1.6.8的地方

答案 2 :(得分:0)

删除~/.m2~/ivy2解决了使用ai.h2o:sparkling-water-core_2.10:1.6.8

的问题