Apache Spark记录扩展计划

时间:2016-12-11 09:44:33

标签: apache-spark spark-dataframe

我想记录package com.example.config; import org.hibernate.validator.constraints.NotBlank; import org.springframework.boot.context.properties.ConfigurationProperties; import org.springframework.stereotype.Component; @Component @ConfigurationProperties(prefix = "demo.foo") public class DemoConfig { @NotBlank private String strVal; private final ObjVal objVal = new ObjVal(); // getter & setter for strVal // getter for objVal (we already have an instance so we can "crawl to it") public static class ObjVal { @NotBlank private String objVal; // getter & setter for objVal } } 我希望看到物理和逻辑计划。 我没有在文档中的任何地方找到如何使用df.explain(true)查看源代码,看起来他们使用log4j.properties进行打印,这意味着他们使用标准输出。

我怎样才能做到这一点?

1 个答案:

答案 0 :(得分:0)

我已经针对此问题在spark JIRA:SPARK-18829上打开了一个问题。 现在您可以使用

打印解释计划
df.queryExecution.toString 

此代码返回带有Physical / analayed / Logical计划的字符串