有没有一种方法可以估计将Spark数据帧写入镶木地板所需的时间?

时间:2020-01-09 19:34:06

标签: apache-spark pyspark parquet pyspark-dataframes

正如问题所述,有没有办法估算将火花数据帧写入诸如镶木地板的文件所需的时间?我不喜欢无限期地等待我知道自己有最好的实例来处理任务,而且已经超过一个小时了。

因此,如果有人知道优化此方法和/或获得所需时间的正确估计,请在下面发布您的答案。

0 个答案:

没有答案