将历史记录数据保留在分区表上
团队，
我这里有一个场景-我有2个表-一个是未分区的，另一个是在一个日期字段上的分区表分区。
已经将数据从非分区表加载到分区表，并且我设置了以下参数以加载到分区表上。
write.partitionBy(“date”) \
.format(“orc”) \
.mode(“overwrite”) \
.saveAsTable(“schema.table1”)
现在两个表的计数匹配都有3年的数据。符合预期。
现在我只刷新了最近一年的数据，并尝试加载分区表，但是它只加载了1年数据，因为我需要分区表中的所有3年数据。
我在这里缺少什么。我只需要刷新1年的数据并将其加载到分区表并保留构建历史记录即可。
建议。谢谢
write.partitionBy(“date”)
.format(“orc”)
.mode(“overwrite”)
.saveAsTable(“schema.table1”)
需要保持历史记录，每天更新一次最新数据。