如何在spark中更新recder到镶木地板文件

时间:2016-05-10 09:54:10

标签: scala apache-spark parquet

当我定期将数据更新为镶木地板文件时,花费的时间会越来越慢。 如何解决?

rdd.save(“hdfs:// hdfshost:9000 / data / data.parquet”,“parquet”,SaveMode.Append)

首先写入,录像机为100w +,文件大小为50MB。 写完后,录像机为1w +。但是,文件大小增加到100MB +

帮助!

0 个答案:

没有答案