如何在已经分区的配置单元表上应用分区

Question

如何在已经分区的配置单元表上应用分区。在加载数据后，我无法将分区数据提取到文件夹中。

Answer 1

配置单元中的第一个分区规则是分区列应该是数据中的最后一列。由于数据已经分区，我们假设我们在性别M / F上划分数据，将有两个目录gender = M和gender = F在每个目录中创建相应的性别数据将可用，此数据中的最后一列将是性别。

如果要在分区表上再次分配数据，请使用insert into select并确保您使用的最后一列是您想要分区数据的分区列。

Answer 2

您是否使用Hdfs命令手动添加分区？在这种情况下，除非您指定“alter table add partition”，Metastore将不会跟踪正在添加的分区... 试试这个

MSCK REPAIR TABLE table_name;

如果不是这种情况，请尝试删除分区并再次创建分区。使用alter table命令执行此操作。但是你会丢失数据。如果您正在进行动态分区插入，则应将您的分区列值作为最后一列提及。