将org.apache.pig.piggybank.storage.MultiStorage与Avro文件结合使用

时间:2019-01-10 21:48:00

标签: apache-pig avro

我想在hdfs中合并一组avro文件。这些文件位于目录/ data / 20180823 / HH,/ data / 20180825 / HH中,其中HH是小时。我正在将目录列表传递给Pig脚本。输出目录的格式应为/data/20180823/a.avro折叠所有小时目录。如何为Pig作业定义多个输出目录?我查看了多存储,但看起来它只是将数据存储为文本

0 个答案:

没有答案