插入覆盖vs删除HDFS分区并在spark中写入镶木地板文件

时间:2016-10-01 19:28:13

标签: apache-spark hive partitioning

使用

时镶木地板是否存在任何主要性能问题
hiveContext.sql("INSERT OVERWRITE TABLE table_name PARTITION(dt='2016-06-08', country) , select x,y,z,country from DFTmpTable");

VS

DeleteHDFSfile(/table/dt='2016-06-08')
DF.write().mode("append").partitionBy("dt","country").parquet("/table/dt='2016-06-08'")

0 个答案:

没有答案