使用Spark从最新分区加载数据

时间:2018-08-16 00:56:51

标签: apache-spark apache-spark-sql

我的数据在s3上按年/月/日划分。我需要在spark中加载最新的可用部分。我想知道获取所有分区以便找到最新分区然后加载数据的最有效方法是什么?

0 个答案:

没有答案