Pig Latin正在加载一个文件!作为分隔符

时间:2016-09-21 18:56:36

标签: csv hadoop apache-pig

我是猪的新手,所以可能有一个简单的解决方案,但我无法弄明白。

问题:我有一个以!为分隔符的平面文件,因此该文件的结构看起来像这样

!id!value!value2
!1!100!200

当我尝试使用pigstorage('\t')加载此文件时,所有内容都会加载到第一个变量中。

 foo=load'bar.txt' using Pigstorage('\t') as 
 Id:chararray,value:chararray,value3:chararray;

这不起作用,因为所有文件都被读入ID列。 我想分割负载,以便在适当的列中读取每个值。

到目前为止,我尝试了how to load files with different delimiter each time in piglatin

上找到的customloader

但是,这也不适用于!

提前致谢

1 个答案:

答案 0 :(得分:4)

你试过吗

foo=load'bar.txt' using Pigstorage('!') as 
 Id:chararray,value:chararray,value3:chararray;