标签： python scrapy
我需要抓取大量的网址来提取和提取数据，我想使用scrapy。
说我有一个Twisted反应器设置，我创建了蜘蛛
runner = CrawlerRunner(scrapy_settings) d = runner.crawl(spider_cls)
我有没有办法将网址发送到蜘蛛网，以便它们处理它们？
答案 0 :(得分：1)
crawl() method可以采取其他参数：
crawl()
d = runner.crawl(spider_cls, start_urls=["url"])