Informatica BDE Hive动态分区

时间:2015-08-25 19:30:09

标签: hadoop hive informatica informatica-powercenter

Informatica在进行hive映射后是否有办法处理hive分区?

例如,假设数据来自数据库,而信息BDE将文件写入HDFS目录。配置单元外部表位于该HDFS目录的顶部,现在需要添加该分区。 (例如,hive -e" ALTER TABLE cr.employee ADD PARTITION(par_date =' 20150824')location' / data / cr / employee / 20150824'") 。

这可以本地完成到informatica bde,还是我们需要安排一个单独的工作(例如shell脚本)来执行此操作。

谢谢,

1 个答案:

答案 0 :(得分:0)

您可以通过以下两种方式执行此操作

1)创建外部分区表并将数据加载到HIVE表而不是HDFS文件中,并确保在HIVE连接属性的环境sql中设置以下属性

SET hive.exec.dynamic.partition = true; SET hive.exec.dynamic.partition.mode = nonstrict;

2)如果要将其加载到HDFS文件中,则需要添加命令任务,该命令任务将调用hcat来更改/创建分区