Apache Pig处理CSV，字段用引号括起来

Question

如何处理CSV文件，其中某些字段用引号括起来？

例如，要处理的行（字段分隔符为＆＃39;，＆＃39;）

  

我是column1，我是第2列，＆＃34;是的，我是第3列＆＃34;

该示例有三列。但是下面的例子会说我有四列：

  

A = load＆＃39; / path / to / file＆＃39;使用PigStorage（＆＃39;，＆＃39;）;

请提出任何建议，链接到资源..？

Answer 1

尝试加载数据，然后执行FOREACH GENERATE以将数据重新生成为您需要的任何格式。对于需要删除引号的字段，请使用REPLACE（$ 3，＆＃39; \＆＃34;＆＃39;）。

data = LOAD 'testdata' USING PigStorage(",");
data = FOREACH data GENERATE
    (chararray) $0                AS col1:chararray,
    (chararray) $1                AS col2:chararray,
    (chararray) REPLACE($3, '\"') AS col3:chararray);