Scrapy最佳实践:在爬虫或管道中连接数据库?

时间:2018-02-09 22:33:21

标签: web-scraping scrapy scrapy-pipeline

我正在抓取一个包含项目列表的主页面。在我的管道中,我连接到数据库来存储项目。我的下一个任务是转到每个单独的项目页面并抓取评论。我需要再次连接到数据库,看看我是否已经删除了评论。

我是否更有效地连接到管道或爬网脚本中的数据库? 有没有办法从管道返回并告诉抓取工具抓取评论?

0 个答案:

没有答案