R-Hadoop mapreduce中是否有任何方法,类似于Java mapreduce中的setup()和cleanup()?

时间:2015-10-05 07:15:11

标签: r hadoop mapreduce hadoop-streaming rhadoop

R-Hadoop mapreduce中是否有任何方法,类似于Java mapreduce中的setup()和cleanup()?在启动所有reducers之前,我必须运行一部分代码,例如db调用一次。使用R编写mapreduce代码时是否有任何规定?

1 个答案:

答案 0 :(得分:0)

如果你在谈论rmr2,那就没有了。如果你详细说明你的用例,即使我失败了,我也可以尝试考虑替代方案或学习一些东西。我假设这个数据库访问需要在map和reduce之间进行,但重要的是要了解DB操作是否依赖于map阶段的输出以及reduce阶段是否取决于DB操作的结果。根据我的经验,这是一个非常独特的要求,在我看来,你必须用两个工作来解决它,一个只有一个地图,一个仅减少。