PIG - LOAD继续出错

时间:2013-09-04 21:57:26

标签: hadoop apache-pig hdfs

猪的新手。

我正在将数据加载到这样的关系中:

raw_data = LOAD '$input_path/abc/def.*;

效果很好,但如果找不到任何与def。*匹配的文件,则整个脚本都会失败。

这是一种在没有匹配时继续使用脚本其余部分的方法。只是制作一个空集?

我试着这样做:

raw_data = LOAD '$input_path/abc/def.* ONERROR Ignore();

但这不解析。

2 个答案:

答案 0 :(得分:1)

您可以编写一个自定义加载UDF,它返回文件或空元组。

http://wiki.apache.org/pig/UDFManual

答案 1 :(得分:0)

不,没有这样的功能,至少是我听说过的功能。 另外我会说“生成一个空集”是“根本不运行脚本”。

如果您不想在某些情况下运行Pig脚本,那么我建议使用包装器shell脚本或Pig嵌入: http://pig.apache.org/docs/r0.11.1/cont.html