将标识符附加到Scrapy请求?

时间:2017-05-06 14:39:23

标签: scrapy web-crawler scrapy-spider

我一般都是爬虫和网络的新手,所以这可能是一个无知的问题。我正在尝试为每个scrapy请求附加一个标识符,以便我可以识别每个响应。

举个例子。假设我正在从我存储在数据库中的产品中抓取数据,并且我想将已删除的数据存储在与该特定产品相关联的数据库中。有没有办法将标识符附加到请求,以便在响应返回时我知道它所引用的产品,以便我可以更新数据库中的正确产品?

基于抓取的数据,我确信我可以在页面上找到标识符,但如果我可以为每个请求传递一个标识符,那么它将更容易,更不容易出错。

任何帮助将不胜感激。

由于

1 个答案:

答案 0 :(得分:0)

在进一步阅读文档后,我相信我找到了答案Raynos bind implementation。我想我可以使用Requests [meta]属性将其他信息传递给回调。我不完全确定这是如何通过这个例子,但这是我迄今为止找到的最佳候选人。