我正在使用Map / Reduce算法,我尝试在单个reducer中合并两个或多个树(将尝试微调稍后在一个reducer中合并的树的数量)。我试图使用N reducer轮实现这个算法。
我尝试使用ChainReducer来解决这个问题,但它只允许定义一个reducer(我可能会在使用循环创建该链时实现)。此外,我想定义自定义逻辑来指定何时发出结果。 这是我的算法架构图:
答案 0 :(得分:1)
您可以使用作业控制,您可以在其中执行序列中的多个地图缩减作业。在您的情况下,reducer中有三个阶段,映射器中只有一个阶段。您可以拥有三个map reduce作业,对于只需要reducer操作的作业,您可以使用标识映射器。