R-Hadoop mapreduce中是否有任何方法,类似于Java mapreduce中的setup()和cleanup()?在启动所有reducers之前,我必须运行一部分代码,例如db调用一次。使用R编写mapreduce代码时是否有任何规定?
答案 0 :(得分:0)
如果你在谈论rmr2,那就没有了。如果你详细说明你的用例,即使我失败了,我也可以尝试考虑替代方案或学习一些东西。我假设这个数据库访问需要在map和reduce之间进行,但重要的是要了解DB操作是否依赖于map阶段的输出以及reduce阶段是否取决于DB操作的结果。根据我的经验,这是一个非常独特的要求,在我看来,你必须用两个工作来解决它,一个只有一个地图,一个仅减少。