使用没有Spark依赖关系的MLlib 2+

时间:2016-11-28 07:16:12

标签: apache-spark breeze apache-spark-mllib

由于MLlib在引擎盖下使用Breeze有一种方法可以将MLlib与Breeze数据结构一起使用,这样我就不需要整个Spark生态系统,但仍然只能在本地使用MLlib吗?

2 个答案:

答案 0 :(得分:5)

你做不到。即使可以拉动依赖关系,也不能在没有spark-core的情况下使用spark-mllib。

然而,如果您想以独立方式从MLLib运行算法,则需要以独立模式安装spark。在这种情况下不需要真正的集群,但解决方案显然不会扩展。

答案 1 :(得分:0)

完全同意@Eliasah

您甚至可以在IDE项目设置中运行MLlib。我有一个Gradle项目来运行MLlib-

setHasFixedSize(true)