标签： pyspark
我正在尝试将数据块中的数据帧写入天蓝色的数据湖gen2。
我有一个包含800万条记录的数据框。
我正在使用df..repartition（1）.write.mode（“ overwrite”）。option（“ header”，“ true”）。format（“ com.databricks.spark.csv”）。save（ '/ mnt / abc /'）
写入文件大约需要1/2个小时。有没有更好的方法将数据帧写入ADLS？