我可以只使用Scrapy进行抓取和解析吗?

时间:2017-01-15 22:11:05

标签: python database parsing scrapy

我是Scrapy的新手并且我一直在寻找,但似乎无法找到我想要做的任何答案。我想从预定义的网页列表(我不断增长的书签列表)中删除内容,并将相关内容提交到MySQL数据库以供以后搜索索引。我不需要抓取此列表之外的其他页面。

我假设Scrapy不会将整个网页存储在数据库中,而只是存储有效索引所需的相关部分。在offical scrapy website上,它列出了Web爬网过程中涉及的9个步骤。对于我想要做的事情,我只需要执行一次步骤4 - 8并使用项目管道将结果发送到我的数据库。

是否可以使用Python代码仅调用Scrapy中的相应函数,以便以这种方式执行步骤4-8?我是Scrapy和Python的新手,所以您的建议将不胜感激。

0 个答案:

没有答案