标签: apache-spark-sql hiveql
我正在努力了解S3上的Hive分区。 S3不是像HDFS这样的文件系统,它如何解决查询中的分区?它执行任何S3级别的操作还是仅在Metastore级别上?
想象一下,我有一个带有分区列的表;年,年龄,地区。添加分区以进行分区修剪时,是否需要在S3路径中具有这些值?
是否必须是/ year / age / region /,或者我可以完全随机地指定路径吗?