Question

我有一个scrapy项目。我已经将蜘蛛与selenium webdriver集成在一起，代码看起来像这样。

def start(i):
    //do some navigation with selenium webdriver

    return url

class abc(BaseSpider):
    name = '123'
    x = start(5)
    start_urls = [x]
    def parse(self, response):

        // scrape data.


class fgh(BaseSpider):
    name = '456'
    x = start(8)
    start_urls = [x]
    def parse(self, response):

        // scrape data.

.... and so on {20 classes as such}..

现在每当我尝试scrapy crawl 456时，它就会从第一个蜘蛛开始执行，即＃123;＆＃39;。控制没有转移到相应的蜘蛛。我是硒和scrapy的新手。请帮忙。

Answer 1

实际上，它是.pyc个文件。我删除了它，现在运行正常。

Scrapy多个蜘蛛连续执行

1 个答案: