如何使用动态生成的分区值将pig脚本的输出插入到hive外部表中?

时间:2016-07-06 23:17:48

标签: hadoop hive apache-pig hiveql hcatalog

我写了一个猪脚本,可以生成一个蜂巢表的元组。我试图将结果转储到HDFS中的特定分区,其中hive存储表日期。到目前为止,我使用的分区值是在pigcript中生成的时间戳字符串值。我必须使用此时间戳字符串值来存储我的猪脚本结果,但我不知道如何做到这一点。任何帮助将不胜感激。

1 个答案:

答案 0 :(得分:0)

如果我理解正确,你会从HIVE表的分区中读取一些数据并想要存储到另一个HIVE表分区中,对吧? HIVI分区(从HDFS透视图中)只是一个子文件夹,其名称的构造如下:fieldname_the_partitioning_is_based_on = value 例如,您有一个日期分区,如下所示:hdfs_to_your_hive_table / date = 20160607 /

所以你需要的是在商店声明中指定这个输出位置

STORE mydata INTO'$ HIVE_DB。$ TABLE'使用org.apache.hive.hcatalog.pig.HCatStorer('date = $ today');