我尝试将Spark代码附加到现有的镶木地板文件中,但附加无法正常工作。取而代之的是,应用程序会为每次运行创建一个新的实木复合地板文件。这是我使用的代码
df.coalesce(1).write.partitionBy("name").mode("append").option("compression", "gzip").parquet("/Suresh bkf/Desktop/suresh")
我清楚地了解不可能将其附加到镶木地板文件中。因此,我正在寻找可以附加到现有镶木地板文件中的任何解决方法或AWS服务。