Spark与Hive每小时目录分区

时间:2017-04-21 17:15:07

标签: apache-spark hive

Spark默认情况下每小时进行一次目录分区,如:

basepath/timestamp=YYYY-MM-dd HH%3Amm%3Ass/data

Hive确实

basepath/year=YYYY/month=MM/day=dd/hour=HH/data

是否有理由使用其中一种?

Spark样式是否会导致使用Hive或Hive样式导致使用Spark时出现问题?

0 个答案:

没有答案