如何在scrapyd中获取请求和响应计数？

Question

我正在尝试在scrapyd中获取请求和响应计数，而运行多个蜘蛛意味着8个蜘蛛动态。我尝试使用python获取这些数量。

以下计数：

<script src="https://cdnjs.cloudflare.com/ajax/libs/knockout/3.2.0/knockout-min.js"></script>
<script type="text/template" id="article-group">
  <input type="number" data-bind="value: groupBy" min="1" max="50">
  <div data-bind="foreach: articleGroups, as: 'group'">
    <div data-bind="foreach: $data, event: {load: console.log($data)}">
      <article data-bind="text: i"></article>
    </div>
  </div>
</script>
<div data-bind="component: {name: 'article-view', params: {groupBy: 5, data: articles}}"></div>

谢谢，

Answer 1

使用Scrapy的Stats Collection。

通过这种方式，您可以访问最终转储到控制台的统计信息，如果您编写自己的中间件，则可以将8个蜘蛛的结果组合在一起 - 就像文档示例一样。