Apache Pig如何在Load函数中将白名单或黑名单？

Question

我想知道是否可以在Pig的Load功能中维护白名单或黑名单。假设我正在执行以下操作：

AllData = LOAD '/path/to/dir/CAT*' USING AvroStorage();

这将加载所有以CAT前缀开头的文件。

e.g. CAT1, CAT2, CAT3, CAT4, CAT5, CAT6

我想知道是否有可能维护黑名单以过滤掉CAT2, CAT3或维护仅保留CAT1, CAT4, CAT5, CAT6的白名单。谢谢！

Answer 1

您可以通过在括号中列出所有文件名后缀来进行白名单，例如：

AllData = LOAD '/path/to/dir/CAT{1,4,5,6}' USING AvroStorage();