每5分钟将scrapy将统计信息发送到作为POST请求作为参数传递的URL

时间:2019-02-15 10:49:48

标签: python-3.x scrapy

我需要将搜寻器的统计信息发送到一个URL,该URL作为Spider参数传递。我需要以5分钟的固定间隔发出POST请求。我该怎么办?

1 个答案:

答案 0 :(得分:1)

您可能需要编写一个扩展程序,使其仅每5分钟发出一次发布请求。
您可以使用scrapy自己的机制(例如engine.download())发出这些请求,也可以使用其他异步http客户端(例如treq

如果不确定如何构建扩展名,可以查看logstats.py,它的功能类似,只是不登录http。

无论如何您都在编写扩展程序,因此建议您进行url和interval设置,但这取决于您。