如何在spark上优化LBFGS的树聚合

时间:2016-09-14 08:06:50

标签: apache-spark machine-learning data-mining apache-spark-mllib bigdata

我在火花上运行LBFGS,有5个功能和10w记录,并发现treeAggregate:

enter image description here

我们可以看到treeAggregte非常耗时

我有100个核心,每个工作树都在LBFGS.scala:218'有1w +任务

0 个答案:

没有答案