我使用scrapy + selenium stack进行爬行任务。我之前和他们一起工作过,以下技术工作正常。但是现在,我的parse
函数没有被调用。以下是我的代码段
class CancerForumSpider(scrapy.Spider):
name = "mainpage_spider"
allowed_domains = ["cancerforums.net"]
start_urls = [
"http://www.cancerforums.net/forums/14-Prostate-Cancer-Forum"
]
def __init__(self,*args,**kwargs):
print("----------------inside init----------------")
def __exit__(self):
print "------------Exiting----------"
self.browser.quit()
def parse(self,response):
print "----------------Inside Parse------------------"
log.start()
当我运行爬虫时,它只打印inside init
并且解析内的print语句不起作用。我之前已经按照相同的方法进行了操作。可以指出我可能缺少的东西吗?