在Hive中刷新Hive表

时间:2018-07-04 07:33:32

标签: hadoop hive hiveql hadoop2 impala

我在Hive中的表很少,每天都会有新的csv文件添加到hive表的位置。当有新数据可用时,我需要刷新表,以便可以在表中看到新数据。

我们遵循的加载数据的步骤:

  • 首先创建一个具有csv serde属性的表
  • 使用镶木表创建另一个表以进行生产
  • 将数据从第一张表插入第二张表。

初始:

1,a

2,b

3,c

新文件:

4,d

我在Google中搜索过,发现可以通过以下方式完成

1)增量表,将新文件加载到增量表中并执行insert语句。就我而言,我们有100多个表,因此不想创建这么多的增量表

2)通过Impala shell使用刷新命令。 我们的初始表以csv serde格式存储。因此,当我在初始表上刷新时,会收到错误提示,表示不支持Serde属性。

在我的情况下,您能提供解决方法吗?

0 个答案:

没有答案