我看到有一个名为ignoreBadFiles的标签,用于Apache Pig的加载功能。我想知道是否有人可以向我展示如何使用它的示例。 以下是吉拉门票的链接: https://issues.apache.org/jira/browse/PIG-3404 它讨论了此标记的用例,但没有示例。 对于类似的东西:
LOAD '$inpath' USING AvroStorage();
如果有人可以向我展示如何在加载功能中使用此标签,那就太好了。非常感谢您的帮助!
答案 0 :(得分:0)
除了使AvroStorage('ignore_bad_files')工作之外,您可能还需要查看设置mapreduce.map.failures.maxpercent。通过允许作业在某些百分比的映射器(阅读器)失败的情况下继续执行,可以得出相似的结果。