csv读取猪,csv文件包含引用的逗号

时间:2013-07-23 16:39:35

标签: csv hadoop apache-pig

所以我的数据看起来像这样

asdf, asdf, "adsf,qwef", asdf 

当我使用

读取猪的数据时
PigStorage(',')

它将“adsf,qwef”存储为两个数据,并将其存储为

{ "adsf } { qwef" } 

我希望将引号视为单个数据。

我该怎么办?

我正在尝试写一个脚本来做这件事。

1 个答案:

答案 0 :(得分:6)

您应该使用CSVLoader:

data = LOAD 'my.csv' USING org.apache.pig.piggybank.storage.CSVExcelStorage() 
    AS (...);

其中......是标识符。

注意:您必须先注册Piggybank。详情请见https://cwiki.apache.org/confluence/display/PIG/PiggyBank