我正在使用Databricks 3.5,Apache Spark 2.2.1。
我在databricks笔记本中运行一个单元格,代码如下。
(df
.write
.partitionBy("date", "user_id")
.mode("overwrite")
.parquet(write_path)
)
我按下shift +进入单元格,进度条运行。但是,我根本看不到任何工作,阶段或任务。我让电池运行了几个小时,但我还没有看到任何运行。
数据帧'df'有大约1,200万行。
有人有任何建议吗?
提前致谢。