在Databricks笔记本中可视化查询计划的功能发生了什么?

时间:2019-09-28 13:40:13

标签: apache-spark apache-spark-sql databricks catalyst-optimizer

Youtube上有一个古老的演讲(2014年),演讲者在Databricks笔记本中直观地查看了一个查询计划。这是屏幕截图:

enter image description here

我正在使用databricks运行时5.5 LTS ML,每当我尝试在查询计划上调用viz时,都会出现这种错误:

error: value viz is not a member of org.apache.spark.sql.catalyst.plans.logical.LogicalPlan

Spark 2.0+中是否已弃用此功能,或者我需要安装/导入其他库才能获得此功能?

1 个答案:

答案 0 :(得分:0)

我认为它不再可视化了,但是它们确实解释了SQL查询,我想这就是您要寻找的。

$ERLANG_HOME = "$env:PROGRAMFILES\erl9.2"
$ERTS_HOME = "$env:PROGRAMFILES\erts-9.2"
$RABBITMQ_HOME = "$env:PROGRAMFILES\RabbitMQ Server\rabbitmq_server-3.6.11"

$env:Path += ";$ERTS_HOME\\bin;$RABBITMQ_HOME\\sbin;$ERLANG_HOME\\bin"

"Added Erlang and RabbitMQ to Path"

# Install RabbitMQ Service and Enable Management Console
rabbitmq-service stop   
rabbitmq-service remove
rabbitmq-plugins enable rabbitmq_management --offline
rabbitmq-service install
rabbitmq-service start

spark.sql("your SQL query").explain(true)