Question

我仍然不完全理解map / reduce是如何工作的，所以我想我会举一个我需要解决的问题的例子，希望答案能帮助我理解这个概念。

我正在使用类似于此的文档结构跟踪页面视图：

{
    "timestamp" : 1299990045,
    "visitor" : {
        "region" : {
            "country_code" : "US",
        },
        "browser" : {
            "name" : "IE",
            "version" : "8.0",
        }
    },
    "referer" : {
        "host" : "www.google.com",
        "path" : "/",
        "query" : "q=map%2Freduce"
    }
}

我为每个页面视图存储一个文档。因为我每天获得大约1500万页面浏览量，所以我想每晚聚合这些结果，保存当天的聚合结果，然后删除该集合以再次开始存储页面视图。我希望map / reduce的输出看起来像这样：

{
    "day" : "Sun Mar 13 2011 00:00:00 GMT-0400 (EDT)",
    "regions" : {
        "US" : 235,
        "CA" : 212,
        "JP" : 121
    },
    "browsers" : {
        "IE" : 145,
        "Firefox" : 245,
        "Chrome" : 95,
        "Other" : 120
    },
    "referers" : {
        "www.google.com" : 24,
        "yahoo.com" 56
    }
}

我真的不知道从哪里开始做这种事情。任何帮助将不胜感激。

Answer 1

编写map-reduce作业的典型过程是从您想要的数据格式开始，作为reduce的输出，构建一个输出它的map函数，然后是一个reduce函数，将它们相加。在您的示例中，您将执行以下操作：

function map() { 
    var date = new Date( this.timestamp.getFullYear(), 
                         this.timestamp.getMonth(),
                         this.timestamp.getDay() );
    var out  = { regions: {}, browsers: {}, referers: {} };
    out.regions[ this.visitor.region.country_code ] = 1; 
    out.browsers[ this.visitor.browser.name ] = 1;
    out.referers[ this.referer.host ] = 1; 
    emit( date, out);
}

function reduce( key, values ) { 
    var out = { regions: {}, browsers: {}, referers: {} };
    values.forEach(function(value) { 
      for( var region in value.regions ) { 
        if( out.regions[region] ) { 
          out.regions[ region ] += value[region];
        } else { 
          out.regions[ region ] = value[region];
        }
      };
      for( var browser in value.browsers ) { 
        if( out.browsers[browser] ) { 
          out.browsers[ browser ] += value[browser]; 
        } else { 
          out.browsers[ browser ] = value[browser]; 
        }
      };
      for( var referer in value.referers ) { 
        if( out.referers[ referer] ) { 
          out.referers[ referer ] += value[referer];
        } else {  
          out.referers[ referer ] = value[referer];
        } 
      }
    });
    return out; 
}

在这结束时，你应该有一个类似于这样的输出集合：

{ 
  _id: "Sun Mar 13 2011 12:23:58 GMT-0700 (PDT)", 
  value: { 
    regions:  {
      "US" : 235,
      "CA" : 212,
      "JP" : 121
    },
    browsers: { 
      "IE" : 145,
      "Firefox" : 245,
      "Chrome" : 95,
      "Other" : 120 
    }, 
    referers: { 
      "www.google.com" : 24,
      "yahoo.com" 56
    } 
  } 
}

请注意，还有另一种方法可以做到这一点。您可以使用原子增量和upsert来实时保存所有这些数据。

例如，每次生成一个页面查看文档时，您还可以执行以下更新：

db.pageviews.summaries.update( { _id: new Date( this.timestamp.getFullYear(), 
                                                this.timestamp.getMonth(),
                                                this.timestamp.getDay() ) },
                               { $inc : {
                                     'visitor.region.US' : 1,
                                     'visitor.browser.IE' : 1,
                                     'referer.www.google.com' : 1 
                                  }
                               },
                               true // upsert
                             );

这意味着您始终将摘要文档保持最新，并且不需要任何地图缩减作业。

注意，您可能想要转义'。'在您的域名中，Mongo会将其解释为文档的层次结构而不是属性名称。

MongoDB：使用Map / Reduce聚合数据

1 个答案: