我正在用scrapy创建一个蜘蛛,我想使用MySQL数据库在我的蜘蛛中获取start_urls。现在我想知道是否可以将scrapy-cloud连接到远程数据库?
答案 0 :(得分:3)
你可以通过覆盖start_requests
蜘蛛方法来实现这一点:
http://doc.scrapy.org/en/latest/topics/spiders.html#scrapy.spiders.Spider.start_requests
你基本上可以做任何你想做的事。
默认情况下,scrapy云上安装了Mysql python。文档:http://mysql-python.sourceforge.net/