在Youtube上有一个古老的演讲(2014年),演讲者在Databricks笔记本中直观地查看了一个查询计划。这是屏幕截图:
我正在使用databricks运行时5.5 LTS ML,每当我尝试在查询计划上调用viz
时,都会出现这种错误:
error: value viz is not a member of org.apache.spark.sql.catalyst.plans.logical.LogicalPlan
Spark 2.0+中是否已弃用此功能,或者我需要安装/导入其他库才能获得此功能?
答案 0 :(得分:0)
我认为它不再可视化了,但是它们确实解释了SQL查询,我想这就是您要寻找的。 p>
$ERLANG_HOME = "$env:PROGRAMFILES\erl9.2"
$ERTS_HOME = "$env:PROGRAMFILES\erts-9.2"
$RABBITMQ_HOME = "$env:PROGRAMFILES\RabbitMQ Server\rabbitmq_server-3.6.11"
$env:Path += ";$ERTS_HOME\\bin;$RABBITMQ_HOME\\sbin;$ERLANG_HOME\\bin"
"Added Erlang and RabbitMQ to Path"
# Install RabbitMQ Service and Enable Management Console
rabbitmq-service stop
rabbitmq-service remove
rabbitmq-plugins enable rabbitmq_management --offline
rabbitmq-service install
rabbitmq-service start
或
spark.sql("your SQL query").explain(true)