Question

我试图从下拉菜单中删除一些城镇/城市的名字。

html看起来像：

选项值=“/薪水/ THIS_IS_WHAT_I_WANT ” 数据-TN-链接数据-TN-元素= “loc_city []” ＆GT;采取行动

我试过这个：

def parse_cities(self, response):
        for city in response.xpath('//select[@id="cmp-salary-loc-select"]/option/text()').extract():
            print(scrapy.Request(response.urljoin("/"+city)))

没有运气。

我知道这个

response.xpath('//select[@id="cmp-salary-loc-select"]/option').extract()

返回我需要的所有html，但似乎无法获取值？

任何指针都将不胜感激。我还没有发布这个链接，因为我想尝试解决这个问题，而不是有人为我做这个！但如果你认为这会有所帮助，你会加入吗？

Answer 1

def parse_cities(self, response):
  for city in response.xpath('//select[@id="cmp-salary-loc-select"]/option/@value').extract():
     yield scrapy.Request(response.urljoin("/"+city), callback=some_method)

Scrapy，从下拉菜单刮

1 个答案: