Question

我很熟悉explain()（也是WebUI）。我很好奇是否有任何工具在优化之前/之后生成逻辑/物理计划的树结构的图像。这是explain()作为图片返回的信息。

Answer 1

像PNG或JPG这样的图片？我自己从来没有听说过，但你可以使用网页用户界面看到实际计划（你已经提到过）。

查询执行的其他阶段可以使用TreeNode方法获得，这些方法（可以帮助您的许多方法）为您提供我最喜欢的numberedTreeString。

scala> println(q.queryExecution.analyzed.numberedTreeString)
00 Range (0, 5, step=1, splits=Some(8))

scala> println(q.queryExecution.executedPlan.numberedTreeString)
00 *Range (0, 5, step=1, splits=8)

您可以使用toJSON或prettyJson将输出保存为JSON以生成PNG（但我自己从未尝试过）。

scala> println(q.queryExecution.executedPlan.prettyJson)
[ {
  "class" : "org.apache.spark.sql.execution.WholeStageCodegenExec",
  "num-children" : 1,
  "child" : 0
}, {
  "class" : "org.apache.spark.sql.execution.RangeExec",
  "num-children" : 0,
  "range" : [ {
    "class" : "org.apache.spark.sql.catalyst.plans.logical.Range",
    "num-children" : 0,
    "start" : 0,
    "end" : 5,
    "step" : 1,
    "numSlices" : 8,
    "output" : [ [ {
      "class" : "org.apache.spark.sql.catalyst.expressions.AttributeReference",
      "num-children" : 0,
      "name" : "id",
      "dataType" : "long",
      "nullable" : false,
      "metadata" : { },
      "exprId" : {
        "product-class" : "org.apache.spark.sql.catalyst.expressions.ExprId",
        "id" : 0,
        "jvmId" : "cb497d01-3b90-42a7-9ebf-ebe85578f763"
      },
      "isGenerated" : false
    } ] ]
  } ]
} ]

用于可视化逻辑和物理查询计划的工具有哪些？

1 个答案: