使用delta格式的Apache Spark创建表被卡住

时间:2019-05-31 13:41:05

标签: apache-spark databricks azure-databricks delta-lake

我想使用一个增量位置创建一个表,但是我的过程陷入了困境。

spark.sql("CREATE TABLE bronze_table USING DELTA LOCATION 'dbfs:/mnt/poc-databricks-folder/bronze/delta'")
  

...运行命令

该过程尚未完成,我在24小时前运行了该程序,但它仍在“正在运行的命令”中。我正在运行一个流作业,该作业将增量格式存储在没有问题的路径中。

attached behaviour

我可以看到spark目录。 enter image description here

我的问题是使用先前路径创建表的过程被卡住了,我想知道原因。我尝试重新启动群集,从文件夹中删除所有文件,删除数据库,删除表,但是我遇到了同样的问题。

enter image description here

0 个答案:

没有答案