两个商店功能在一个猪脚本中

时间:2014-02-21 11:42:47

标签: hadoop apache-pig

我有一个猪脚本来加载,处理和存储数据。

如果同一个pig脚本中有两个商店功能,它是如何工作的?

a = load 'somefile' using PigStorage(',');
b ...
c ...
d ...
e = store d into 'output1';
f = store c into 'output2';

每个商店运行两次吗?那是商店'e'它从'a'到'e'处理,对于商店'f'它直接存储'c'因为它已经处理过,或者将再次从'a'开始?

1 个答案:

答案 0 :(得分:2)

一般来说,底层map / reduce框架具有多输出格式,因此Pig可以使用它并在单个作业中运行两个存储脚本,例如通过单独减少,每个将写入另一个文件

然而,实际的map / reduce计划取决于你去c和d做什么 - 有时候这个处理需要多个工作 - 要理解你的脚本的行为,你可以使用Pig的explain命令。如果您想要图形可视化,可以使用Netflix's lipstick