Question

我在尝试将CSV文件加载到Pig时尝试跳过该文件的标题。

REGISTER /usr/hdp/2.3.4.0-3485/pig/lib/piggybank.jar;
define CSVExcelStorage org.apache.pig.piggybank.storage.CSVExcelStorage; 

transactions = load 'hdfs://vm1.local:8020/user/root/transcations/trans.csv' USING CSVExcelStorage(',','NO_MULTILINE', 'UNIX', 'SKIP_INPUT_HEADER')

但是当我转储transactions时，我也得到了标题。我使用Apache Pig 0.15 感谢。

Answer 1

解决上述问题的方法是 - ＆GT; DEFINE CSVExcelStorage org.apache.pig.piggybank.storage.CSVExcelStorage（'，'，'NO_MULTILINE'，'UNIX'，'SKIP_INPUT_HEADER'）;. - ＆GT; transactions = load'hdfs：//vm1.local：8020 / user / root / transcations / trans.csv'使用CSVExcelStorage（）;

我发现在这种情况下，定义UDF别名的传统方法不起作用。

CSVExcelStorage没有用猪跳过标题

1 个答案: