可以附加到现有镶木地板文件的spark或Aws服务

时间:2019-03-14 08:42:25

标签: amazon-web-services apache-spark parquet

我尝试将Spark代码附加到现有的镶木地板文件中,但附加无法正常工作。取而代之的是,应用程序会为每次运行创建一个新的实木复合地板文件。这是我使用的代码

df.coalesce(1).write.partitionBy("name").mode("append").option("compression", "gzip").parquet("/Suresh bkf/Desktop/suresh")

我清楚地了解不可能将其附加到镶木地板文件中。因此,我正在寻找可以附加到现有镶木地板文件中的任何解决方法或AWS服务。

0 个答案:

没有答案