我在Hive中的表很少,每天都会有新的csv文件添加到hive表的位置。当有新数据可用时,我需要刷新表,以便可以在表中看到新数据。
我们遵循的加载数据的步骤:
初始:
1,a
2,b
3,c
新文件:
4,d
我在Google中搜索过,发现可以通过以下方式完成
:1)增量表,将新文件加载到增量表中并执行insert语句。就我而言,我们有100多个表,因此不想创建这么多的增量表
2)通过Impala shell使用刷新命令。 我们的初始表以csv serde格式存储。因此,当我在初始表上刷新时,会收到错误提示,表示不支持Serde属性。
在我的情况下,您能提供解决方法吗?