PIG:无效的字段投影。模式中不存在投影字段[dept_no]

时间:2014-11-17 05:53:55

标签: apache-pig grouping

我有两个.csv文件,

1)按部门名称,员工ID和雇用日期拆分的经理列表。

2)包含所有员工的文件,不论其职级如何,除以hire_date,first name,last_name。

我想在标有' chem'的特定部门输出经理 的所有名字和姓氏。

我首先加载这两个文件。

managers = LOAD....
employees = LOAD...

然后我尝试了一个小组。

grouped = COGROUP emplo BY first_name, manag by dept_no;

然后尝试过滤掉与特定部门分组的内容

only_chem = FILTER grouped BY dept_no == 'chem';

但是,当我对结果进行DUMP时,它说,在最后一位,无效字段投影。模式中不存在投影字段[dept_no]。

我必须在如何对它们进行分组时做错事。我想摆脱无关的信息,但能够过滤掉所有员工,只能从那些人那里获得经理,但我需要大型员工档案,因为它有名/姓名字段。

思考?谢谢。

1 个答案:

答案 0 :(得分:0)

你能这样试试吗?

D = FOREACH grouped{
                      only_chem = FILTER  managers BY dept_no == 'chem';
                      GENERATE FLATTEN(only_chem);
                 }
DUMP D;

如果这不起作用,请粘贴员工和经理文件的样本输入数据,以及2个加载stmt。