Question

根据Sparkling water家伙的this博客，您现在可以使用Spark ML管道组件在最新版本中构建DL模型。我尝试在build.sbt

中添加最新版本

"org.apache.spark" % "spark-mllib_2.10" % "2.0.0" % "provided",
"ai.h2o" % "sparkling-water-core_2.10" % "1.6.5" % "provided"

但没有运气，尝试导入org.apache.spark.ml.h2o.H2OPipeline并不起作用。 h2o内的spark.ml包似乎不存在于火花罐中。即使它似乎在上面的链接以及here中工作。我真的想重用我的spark-mllib特征变换器来使用h2o创建一个DL模型，如博客中所示。

任何帮助表示赞赏！

感谢。

Answer 1

1）请不要使用火花2和sw 1.6.5 - 它不会起作用。我们为scala 2.11 https://mvnrepository.com/artifact/ai.h2o/sparkling-water-core_2.11

发布了sw2.0

2）你只在你的构建中添加SW核心，你正在寻找的类是闪闪发光的水 - ml https://mvnrepository.com/artifact/ai.h2o/sparkling-water-ml_2.11

Answer 2

我使用以下版本来运行Maven pom.xml的H2O示例，它正在运行

Spark - 1.6
苏打水 - 1.6.8
ai h2o - 3.10.0.8

这是maven pom.xml（请参阅GIT repo - https://github.com/seerampavan/H2oTesting/blob/master/pom.xml）

**OptionID,  CustomerID, ProductID**
1,          15,          338
2 ,         15,          161
3,          15,          777          
4,         22,          999
5,          22,          614
6,         22,          7411
7,          22,          2301
8,          22,          2254

苏打水：不能使用spark ml管道的支撑

2 个答案: