如何加入Pig输出文件？

Question

pig脚本使用.pig_header和.pig_schema输出一些部分文件（part-m-00000，part-m-00001等），我试图将它们作为一个输出csv加入。 我试图使用hadoop merge

hadoop fs -getmerge ./output output.csv

但文件也与.pig_schema文件合并，因此它变成类似

的文件

header1,header2,header3
{"fields":[{"name": "header1", "type":...}]}
value1,value2,value3

如果没有包含.pig_schema，我该如何正确加入？

谢谢！

Answer 1

使用fileglob：hadoop fs -getmerge ./output/part* output.csv