我在尝试将CSV文件加载到Pig时尝试跳过该文件的标题。
REGISTER /usr/hdp/2.3.4.0-3485/pig/lib/piggybank.jar;
define CSVExcelStorage org.apache.pig.piggybank.storage.CSVExcelStorage;
transactions = load 'hdfs://vm1.local:8020/user/root/transcations/trans.csv' USING CSVExcelStorage(',','NO_MULTILINE', 'UNIX', 'SKIP_INPUT_HEADER')
但是当我转储transactions
时,我也得到了标题。
我使用Apache Pig 0.15
感谢。
答案 0 :(得分:0)
解决上述问题的方法是 - > DEFINE CSVExcelStorage org.apache.pig.piggybank.storage.CSVExcelStorage(',','NO_MULTILINE','UNIX','SKIP_INPUT_HEADER');. - > transactions = load'hdfs://vm1.local:8020 / user / root / transcations / trans.csv'使用CSVExcelStorage();
我发现在这种情况下,定义UDF别名的传统方法不起作用。