KMeans与Spark 1.6.2 VS Spark 2.0.0

Question

我在一个我无法控制的环境中使用Kmeans()，我将在<1个月内放弃。 Spark 1.6.2。已安装。

我应该为催促他们付出代价吗？在我离开之前升级到Spark 2.0.0？换句话说，当涉及 Spark Mllib KMeans（）时，Spark 2.0.0是否会引入任何重大改进？

就我而言，质量是比速度更重要的因素。

Answer 1

这是不太可能的。

Spark 2.0.0没有引入any significant improvements to the core RDD API和KMeans实施didn't change much since 1.6，只有SPARK-15322，SPARK-16696和{SPARK-16694引入相对重要的更改{3}}

如果您使用ML API，也可能会有一些与SPARK-14850相关的改进，但总体而言，我在这里看不到任何游戏改变者。