Question

在CouchDB中执行“join”时，您可以使用视图排序将记录组合在一起。例如，有两种文档类型客户和订单。这样您就可以返回客户，然后返回该客户的所有订单，然后是下一个客户和订单。

问题是，如何合并行，这样如果您有10个客户和40个订单，那么您的输出仍然是10行而不是50行。您实际上将更多信息添加到客户< / em>行。

我相信使用_list或reduce可以解决这个问题。问题是如何做到这一点？

Answer 1

我第二次jhs answer，但我认为他的“选项2”太危险了。我很难学到它。你可以使用reduce函数来处理诸如getting the last post of each user of a blog之类的许多好东西，但你不能将它用于任何不会减少返回数据量的东西。

为了支持事实，我制作了这个小脚本来生成200个客户，每个订单20个。

#!/bin/bash
echo '{"docs":['
for i in $(seq 1 200); do
  id=customer/$i
  echo '{"_id":"'$id'","type":"customer","name":"Customer '$i'"},'
  for o in $(seq 1 20); do
    echo '{"type":"order","_id":"order/'$i'/'$o'", "for":"'$id'", "desc":"Desc '$i$o'"},'
  done
done
echo ']}'

这是一种非常可能的情况，它足以抛出Error: reduce_overflow_error。

恕我直言，你有两个选择：

选项1：优化列表功能

通过一些工作，您可以手动构建JSON响应，这样您就不需要在数组中累积订单。

我已经编辑了jhs的list函数以避免使用任何数组，因此您可以让客户拥有任意数量的订单。

function(head, req) {
  start({'headers':{'Content-Type':'application/json'}});

  var first_customer = true
    , first_order = true
    , row
    ;

  send('{"rows":[');

  while(row = getRow()) {
    if(row.key[1] === 2) {
      // Order for customer
      if (first_order) {
        first_order = false;
      } else {
        send(',');
      }
      send(JSON.stringify(row.value));
    }
    else if (row.key[1] === 1) {
      // New customer
      if (first_customer) {
        first_customer = false;
      } else {
        send(']},');
      }
      send('{"customer":');
      send(JSON.stringify(row.key[0]));
      send(',"orders":[');
      first_order = true;
    }
  }
  if (!first_customer)
    send(']}');

  send('\n]}');
}

选项2：针对您的用例优化文档

如果您确实需要在同一文件中订购，请问自己是否可以这样存储，并避免在查询时进行任何处理。

换句话说：尝试充分利用文档数据库提供的可能性。设计最适合您的用例的文档，并减少使用它们所需的后处理。

Answer 2

CouchDB的主要“观点”之一是仅在分布式集群设置中执行的操作也是可行的。实际上，这意味着在开始时会带来一些不便，以后会在不改变代码的情况下获得大的可扩展性。

换句话说，“加入”问题没有完美答案。但我认为有两个不错的选择。

我正在处理这个数据集：

$ curl localhost:5984/so/_bulk_docs -XPOST -Hcontent-type:application/json -d @-
{"docs":[
{"type":"customer","name":"Jason"},
{"type":"customer","name":"Hunter"},
{"type":"customer","name":"Smith"},
{"type":"order", "for":"Jason", "desc":"Hat"},
{"type":"order", "for":"Jason", "desc":"Shoes"},
{"type":"order", "for":"Smith", "desc":"Pan"}
]}
^D

[{"id":"4cb766ebafda06d8a3a7382f74000b46","rev":"1-8769ac2fffb869e795c347e7b8c653bf"},
{"id":"4cb766ebafda06d8a3a7382f74000b7d","rev":"1-094eff3e3a5967d974fcd7b3cfd7e454"},
{"id":"4cb766ebafda06d8a3a7382f740019cb","rev":"1-5cda0b61da4c045ff503b57f614454d5"},
{"id":"4cb766ebafda06d8a3a7382f7400239d","rev":"1-50642a9809f15283a9d938c8fe28ef27"},
{"id":"4cb766ebafda06d8a3a7382f74002778","rev":"1-d03d883fb14a424e3db022350b38c510"},
{"id":"4cb766ebafda06d8a3a7382f74002c5c","rev":"1-e9612f5d267a8442d3fc2ae09e8c800d"}]

我的地图功能是

function(doc) {
  if(doc.type == 'customer')
    emit([doc.name, 1], "");
  if(doc.type == 'order')
    emit([doc.for, 2], doc.desc);
}

查询完整视图显示：

{"total_rows":6,"offset":0,"rows":[
{"id":"4cb766ebafda06d8a3a7382f74000b7d","key":["Hunter",1],"value":""},
{"id":"4cb766ebafda06d8a3a7382f74000b46","key":["Jason",1],"value":""},
{"id":"4cb766ebafda06d8a3a7382f7400239d","key":["Jason",2],"value":"Hat"},
{"id":"4cb766ebafda06d8a3a7382f74002778","key":["Jason",2],"value":"Shoes"},
{"id":"4cb766ebafda06d8a3a7382f740019cb","key":["Smith",1],"value":""},
{"id":"4cb766ebafda06d8a3a7382f74002c5c","key":["Smith",2],"value":"Pan"}
]}

选项1：用于收集结果的列表函数

好处是，如果你要10行，你肯定会得到10行（当然除非没有足够的数据）。

但成本是您必须为每个查询执行服务器端处理。你想要的数据只是坐在磁盘上，随时可以流式传输给你，但现在你已经完成了这个瓶颈。

但是，我个人认为，除非您有明显的性能问题，否则_list很不错。

function(head, req) {
  start({'headers':{'Content-Type':'application/json'}});

  send('{"rows":');

  var customer = null, orders = [], count = 0;

  var prefix = '\n[ ';
  function show_orders() {
    if(customer && orders.length > 0) {
      count += 1;

      send(prefix);
      prefix = '\n, ';

      send(JSON.stringify({'customer':customer, 'orders':orders}));
    }
  }

  function done() {
    send('\n]}');
  }

  var row;
  while(row = getRow()) {
    if(row.key[1] == 2) {
      // Order for customer
      orders.push(row.value);
    }

    if(row.key[1] == 1) {
      // New customer
      show_orders();

      if(req.query.lim && count >= parseInt(req.query.lim)) {
        // Reached the limit
        done();
        return;
      } else {
        // Prepare for this customer.
        customer = row.key[0];
        orders = [];
      }
    }
  }

  // Show the last order set seen and finish.
  show_orders();
  done();
}

此函数只循环遍历map行，并且只有在收集完所有信息后才输出完整的客户+订单行。显然，您可以更改输出的JSON格式。此外，还有一个?lim=X参数，因为使用参数limit会干扰地图查询。

危险在于此功能在内存中构建无限响应。如果客户订购了10,000个订单怎么办？还是10万？最终构建orders数组将失败。这就是CouchDB将它们保持在“高”列表中的原因。如果每个客户不会获得10,000个订单，那么这不是问题。

$ curl 'http://localhost:5984/so/_design/ex/_list/ex/so?reduce=false&lim=2'
{"rows":
[ {"customer":"Jason","orders":["Hat","Shoes"]}
, {"customer":"Smith","orders":["Pan"]}
]}

选项2：偷偷摸摸的减少

您可以使用reduce功能执行类似操作。就在这里，我会警告你，这在技术上是不可扩展的，因为你在磁盘上积累响应，但我个人更喜欢它而不是_list，因为代码更简单，我知道我直接读取数据磁盘，没有后期处理。

function(keys, vals, re) {
  // If all keys are the same, then these are all
  // orders for the same customer, so accumulate
  // them. Otherwise, return something meaningless.
  var a;

  var first_customer = keys[0][0][0];
  for(a = 0; a < keys.length; a++)
    if(keys[a][0][0] !== first_customer)
      return null;

  var result = [];
  for(a = 0; a < vals.length; a++)
    if(vals[a]) {
      // Accumulate an order.
      result.push(vals[a]);
    }
  return result;
}

始终使用?group_level=1查询此视图，该视图将按客户细分结果（因为客户名称是map键中的第一项）。

这是违法，因为在 reduce 阶段你不应该累积数据。这就是为什么他们称之为 reduce 。

但是，CouchDB很放松，只要你不构建巨型列表，它应该可以工作，而且更加优雅。

$ curl 'localhost:5984/so/_design/ex/_view/so?group_level=1&limit=3'
{"rows":[
{"key":["Hunter"],"value":[]},
{"key":["Jason"],"value":["Shoes","Hat"]},
{"key":["Smith"],"value":["Pan"]}
]}

祝你好运！

“合并”视图排序到CouchDB中的有用输出

2 个答案:

选项1：用于收集结果的列表函数

选项2：偷偷摸摸的减少