使用scrapy解析网站,并且需要parse下拉菜单才能最终请求。
FormRequest类用于对下拉菜单的后请求,以使用回调函数获取下一个下拉菜单的选项列表
scrapy.FormRequest(url = make_url, formdata=data1, callback=self.parse_make)
def parse_make(self, response):
data = response.text.split(',')
datac=[]
for row in data:
row = row.split(':')[1].replace('"','')
print(row)
datac.append(row)
return datac
需要获取datac列表,以进行下一次切片迭代