databricks-spark正在显示没有任何工作,任务或阶段

时间:2018-01-18 04:37:51

标签: apache-spark pyspark apache-spark-sql spark-dataframe databricks

我正在使用Databricks 3.5,Apache Spark 2.2.1。

我在databricks笔记本中运行一个单元格,代码如下。

(df
 .write
 .partitionBy("date", "user_id")
 .mode("overwrite")
 .parquet(write_path)
)

我按下shift +进入单元格,进度条运行。但是,我根本看不到任何工作,阶段或任务。我让电池运行了几个小时,但我还没有看到任何运行。

数据帧'df'有大约1,200万行。

有人有任何建议吗?

提前致谢。

0 个答案:

没有答案