PIG LOAD文件名

时间:2015-12-17 01:19:08

标签: apache-pig

我只是想加载一个非结构化的输入文件并添加文件名。所以我想得到的是两个领域: filename:chararray,inputrow:chararray。

如果我有使用pigstorage(';',' - tagfile')的字段分隔符,我可以加载文件名但是我不想在此时分隔字段我只想要字符串和文件名。我怎么能这样做?

1 个答案:

答案 0 :(得分:0)

在不应用分隔符的情况下加载文件的方法是选择在文件中不会(不能)出现的分隔符。

例如,如果您的文件被;分隔,并且无法包含标签\t,则可以执行以下操作:

pigstorage('\t','-tagfile')