在Pig Latin中按最后一列过滤 - 未指定模式时

Question

我正在尝试在Pig Latin中放置一个通用脚本，我需要根据最后一列过滤数据。

我的数据集将有不同的列数，我将根据最后一列进行过滤。

我们有什么方法可以获得猪的最后一栏。

master = LOAD '/user/data/usps/dataset_1/' using PigStorage(',') ;
B = FILTER master BY last_column is null;

Answer 1

你不能使用pigstorage。但是你可以编写自己的自定义加载器（很容易说实话）来解析数据并命名最后一列“last_column”