标签： performance apache-spark machine-learning apache-spark-ml
我们有一个带有spark 2.1.0的MPC模型，其训练过去需要大约3.5h
现在升级到spark 2.3.0后（具有相同的训练数据）需要14.5小时
在检查了升级说明后，我没有发现任何应该影响升级的东西，除了MPC现在给您带来可能性的事实（不确定这是否会使训练时间那么长...）
该界面显示作业仍然在各工人之间平均分配，但是treeAggregate现在平均需要60秒，而以前大约需要11秒。
有人尝试过类似的东西吗？