我需要创建一个if语句,并且我的程序仅在抓取网页时单击下一个按钮时才输入它。现在,如果页面上某处有一个下一步按钮,我将输入当前的if语句,我需要另一个if语句,在if语句中,它仅在实际单击下一步按钮时才输入。
priority = response.meta['priority']
next_page = response.xpath('//a[contains(., "- Next>>")]/@href').get()
#import pdb; pdb.set_trace()
# If it exists and there is a next page enter if statement
if next_page is not None:
# Go to next page
# import pdb; pdb.set_trace()
yield response.follow(next_page, self.parse, priority=priority, meta={'priority': priority})