ScrapingHub和远程数据库

时间:2015-07-20 12:25:24

标签: mysql scrapy scrapinghub

我正在用scrapy创建一个蜘蛛,我想使用MySQL数据库在我的蜘蛛中获取start_urls。现在我想知道是否可以将scrapy-cloud连接到远程数据库?

1 个答案:

答案 0 :(得分:3)

你可以通过覆盖start_requests蜘蛛方法来实现这一点:

http://doc.scrapy.org/en/latest/topics/spiders.html#scrapy.spiders.Spider.start_requests

你基本上可以做任何你想做的事。

默认情况下,scrapy云上安装了Mysql python。文档:http://mysql-python.sourceforge.net/