重复创建和删除Hive表的影响

时间:2016-07-07 19:49:11

标签: hadoop hive metastore

我有一个需要大约200个蜂巢镶木桌子的用例。 我需要从平面文本文件加载这些镶木桌。但我们不能从平面文本文件直接加载镶木桌。 所以我使用以下方法

  1. 创建了一个临时托管文本表。
  2. 带有文本数据的临时表。
  3. 创建外部镶木地板。
  4. 使用选择查询加载带有文本表的镶木桌。
  5. 删除临时文本表的文本文件(但将表保留在Metastore中)。
  6. 这种方法在Metastore中保留临时元数据(200个表)。所以我有第二种方法是,我将删除临时文本表以及来自hdfs的文本文件。下次重新创建临时表并删除一次创建镶木地板。

    现在,由于我需要每2小时对所有200个表执行上述步骤,因此在生产期间创建和删除Metastore中的表会影响集群中的任何内容吗?

    哪种方法可以影响生产,保留Metastore中的临时元数据,从hive Metastore创建和删除表(元数据)?

1 个答案:

答案 0 :(得分:0)

  

哪种方法可以影响生产,保留临时元数据   Metastore,创建和删除来自配置单元的表(元数据)   metastore?

不,没有影响,HiveMetastore的后端应该能够轻松地每小时处理200 * n次更改。如果您不确定从50个表开始并监视后端数据库性能。