我有.csv文件,其中的数据类似如下:
001, 4567, 7012, “x,y,z”, abc, pqr, 56
002, 3456, 5457, “t,f,q”, str, whg, 78
003, 6782, 4562, “h,s,w”, uij, edc, 39
004, 2348, 2673, “k,g,r”, plg, esa, 57
当我使用PigStorage(‘,’)
将此数据加载到PIG时,由于数据中的“,”,双引号内的数据也被视为单独的字段。
我的要求是将引号内的数据视为单个字段,将其他字段视为基于逗号分隔的单独字段。 有人可以建议我怎样才能做到这一点。
谢谢, 纳温
答案 0 :(得分:0)
看看这些: 首先下载piggybank jar。
csv reading in pig, csv file contains quoted comma http://help.mortardata.com/integrations/amazon_s3/csv