Question

我使用spark.ml渐变增强效果。生成结果几乎需要一天时间。有没有办法显示进度？（例如，到目前为止已经生成了多少棵树）

Answer 1

在log4j.properties文件中将默认日志级别设置为“DEBUG”，或者通过修改shell spark.sparkContext.setLogLevel("DEBUG")中的Spark上下文。这将在树构建上提供具有状态更新的调试消息，例如，

[DEBUG] 2016-07-31 11:36:23,689 org.apache.spark.ml.tree.impl.GradientBoostedTrees logDebug - ###################################################
[DEBUG] 2016-07-31 11:36:23,690 org.apache.spark.ml.tree.impl.GradientBoostedTrees logDebug - Gradient boosting tree iteration 2
[DEBUG] 2016-07-31 11:36:23,690 org.apache.spark.ml.tree.impl.GradientBoostedTrees logDebug - ###################################################

调试日志记录信息也会显示每次迭代时GBT的错误。

Answer 2

这很好地完成了这项工作 --conf spark.ui.showConsoleProgress=true

spark.ml.gradientboosting的进度报告？

2 个答案: