Apache Pig:如何在load函数中使用ignoreBadFiles标签?

时间:2018-07-20 18:22:55

标签: apache-pig avro

我看到有一个名为ignoreBadFiles的标签,用于Apache Pig的加载功能。我想知道是否有人可以向我展示如何使用它的示例。 以下是吉拉门票的链接: https://issues.apache.org/jira/browse/PIG-3404 它讨论了此标记的用例,但没有示例。 对于类似的东西:

LOAD '$inpath' USING AvroStorage();

如果有人可以向我展示如何在加载功能中使用此标签,那就太好了。非常感谢您的帮助!

1 个答案:

答案 0 :(得分:0)

除了使AvroStorage('ignore_bad_files')工作之外,您可能还需要查看设置mapreduce.map.failures.maxpercent。通过允许作业在某些百分比的映射器(阅读器)失败的情况下继续执行,可以得出相似的结果。