每5分钟将scrapy将统计信息发送到作为POST请求作为参数传递的URL

Question

我需要将搜寻器的统计信息发送到一个URL，该URL作为Spider参数传递。我需要以5分钟的固定间隔发出POST请求。我该怎么办？

Answer 1

您可能需要编写一个扩展程序，使其仅每5分钟发出一次发布请求。
您可以使用scrapy自己的机制（例如engine.download()）发出这些请求，也可以使用其他异步http客户端（例如treq）

如果不确定如何构建扩展名，可以查看logstats.py，它的功能类似，只是不登录http。

无论如何您都在编写扩展程序，因此建议您进行url和interval设置，但这取决于您。