我正在使用Apache Pig从某个范围加载数据,例如:
DATA = LOAD '/path/to/dir/{$range}' using AvroStorage();
以某种方式将具有不同架构的某些数据混入该范围。 Pig读取具有不同架构的文件后,将引发错误。我想知道是否有一种方法可以跳过该数据并继续从具有相同架构的路径读取?例如,我想做类似的事情:
DATA = LOAD '/path/to/dir/{$range}' using AvroStorage(schema1_only);
感谢您的任何建议或解决方法!