HIVE Metastore和S3

时间:2019-05-29 18:43:52

标签: amazon-web-services amazon-s3 hive

当S3和HIVE Metastore不同步时,无法覆盖S3上的分区。

  • 在AWS altus上提交的spark作业,以在S3上加载HIVE分区表。
  • 有些分区是如何删除的,我不得不重新提交工作。
  • 发现只有在我执行alter drop分区然后提交spark作业时,才会创建S3分区。
  • 在不删除分区的情况下,spark作业没有失败,但是并没有在S3上创建任何文件/文件夹。

在HDFS中有所不同。即使未同步HIVE元存储,也能够编写HDFS。想知道是否有人对此表示相同和任何特殊原因。

0 个答案:

没有答案