由于MLlib在引擎盖下使用Breeze有一种方法可以将MLlib与Breeze数据结构一起使用,这样我就不需要整个Spark生态系统,但仍然只能在本地使用MLlib吗?
答案 0 :(得分:5)
你做不到。即使可以拉动依赖关系,也不能在没有spark-core的情况下使用spark-mllib。
然而,如果您想以独立方式从MLLib运行算法,则需要以独立模式安装spark。在这种情况下不需要真正的集群,但解决方案显然不会扩展。
答案 1 :(得分:0)
完全同意@Eliasah
您甚至可以在IDE项目设置中运行MLlib。我有一个Gradle项目来运行MLlib-
setHasFixedSize(true)