解释层叠点图

时间:2013-03-22 13:53:36

标签: hadoop cascading

有人可以解释如何阅读这些图表吗?我理解从头到尾的流程,但我特别想知道如何读取椭圆(管道/分接头)之间的字段(括号)转换。

作为示例,使用图像中每个管道后面的字段,我能够解释这些的方式是第一个字段集,即[{2}:'令牌','计数']是进入的下一个管道/点击,但第二个字段集[{1}:'令牌']的意义是什么?

这是上面管道中的字段集吗?对第二个括号是否有编程意义,即我们是否能够使用特定的级联代码在该管道中访问它? (在第二个字段集大于第一个字段的情况下)

wc Impatient PNG http://www.cascading.org/files/2012/08/wc.png

1 个答案:

答案 0 :(得分:2)

第二个字段集表示哪些字段可用于该映射中的后续操作或reduce。

在上面的示例中,在reduce步骤中,由于您按'token'分组,因此只有'token'可用于该reduce步骤中的后续聚合(Everys)。例如,您可以添加另一个输出平均令牌长度的聚合,但您无法使用已使用“计数”的聚合。

此行为的原因是同一组上的后续聚合并行发生。因此,不会完成计数以输入您链接的任何其他聚合。