解析函数没有在Scrapy中调用

时间:2016-11-09 21:04:48

标签: python-2.7 selenium scrapy web-crawler

我使用scrapy + selenium stack进行爬行任务。我之前和他们一起工作过,以下技术工作正常。但是现在,我的parse函数没有被调用。以下是我的代码段

class CancerForumSpider(scrapy.Spider):
    name = "mainpage_spider"
    allowed_domains = ["cancerforums.net"]
    start_urls = [
        "http://www.cancerforums.net/forums/14-Prostate-Cancer-Forum"
    ]
    def __init__(self,*args,**kwargs):
        print("----------------inside init----------------")

    def __exit__(self):
        print "------------Exiting----------"
        self.browser.quit()

    def parse(self,response):
        print "----------------Inside Parse------------------"
        log.start()

当我运行爬虫时,它只打印inside init并且解析内的print语句不起作用。我之前已经按照相同的方法进行了操作。可以指出我可能缺少的东西吗?

0 个答案:

没有答案