S3上的分区策略

时间:2020-03-19 18:25:15

标签: apache-spark-sql hiveql

我正在努力了解S3上的Hive分区。 S3不是像HDFS这样的文件系统,它如何解决查询中的分区?它执行任何S3级别的操作还是仅在Metastore级别上?

想象一下,我有一个带有分区列的表;年,年龄,地区。添加分区以进行分区修剪时,是否需要在S3路径中具有这些值?

是否必须是/ year / age / region /,或者我可以完全随机地指定路径吗?

0 个答案:

没有答案