地图缩小以后或在写入时计算?

时间:2012-08-13 13:41:39

标签: performance mapreduce aggregate-functions

在我目前的项目中,我们编写了一些地图减少工作,在某些情况下可以在相关数据发生变化时进行计算。

我很好奇是否有一些公认的经验法则是关于最便宜的时间进行汇总计算。

我可能会这样开始:

  1. 如果您别无选择,只能传递所有记录,并且数据经常更改,则将其推迟到批处理过程。
  2. 对于整体计算成本昂贵但容易递增的东西,你应该在写入时增加。

0 个答案:

没有答案