我需要将搜寻器的统计信息发送到一个URL,该URL作为Spider参数传递。我需要以5分钟的固定间隔发出POST请求。我该怎么办?
答案 0 :(得分:1)
您可能需要编写一个扩展程序,使其仅每5分钟发出一次发布请求。
您可以使用scrapy自己的机制(例如engine.download()
)发出这些请求,也可以使用其他异步http客户端(例如treq)
如果不确定如何构建扩展名,可以查看logstats.py,它的功能类似,只是不登录http。
无论如何您都在编写扩展程序,因此建议您进行url和interval设置,但这取决于您。