我在hive的日期列上有一个分区表,并且能够首次将数据导入到hive分区表中。 当我执行此操作时,它正确创建了所有日期文件夹,并将数据加载到hive表的hdfs位置的每个文件夹中。 现在,当我想要sqoop导入并将新数据再次附加到具有新更新日期的同一个hive表中(在hdfs hive位置创建新的日期分区文件夹) 并将新数据加载到表中。如何使用sqoop导入操作执行此操作?
答案 0 :(得分:0)
以更易于管理的方式为您的数据建模。使用创建日期进行分区未更新日期。据我所知,hive不支持更新分区,可能有解决方法,但可能很麻烦。因此,使用不会更改为分区键的字段。您是否首次使用静态分区sqoop导入?据我所知,sqoop import仅支持导入usnig静态分区,除非您使用hcatelog
。
如果你有其他的解决方案,请说,我有类似的情况,我解决了如上所述。