标签: web-scraping scrapy scrapy-pipeline
我正在抓取一个包含项目列表的主页面。在我的管道中,我连接到数据库来存储项目。我的下一个任务是转到每个单独的项目页面并抓取评论。我需要再次连接到数据库,看看我是否已经删除了评论。
我是否更有效地连接到管道或爬网脚本中的数据库? 有没有办法从管道返回并告诉抓取工具抓取评论?