使用Scrapy遍历下拉列表

Question

一个非常简单的问题，我如何遍历此下拉列表？我想我需要使用xpath，但是不确定如何使用。仅操纵URL会更容易吗？ -是可以预见的。

这是我要从其中抓取的链接：http://www.southamptonweather.co.uk/wxhistory.php？

这是我当前的代码：

import scrapy


class WeatherSpider(scrapy.Spider):
    name = "weatherspider"
    start_urls = [
        "http://www.southamptonweather.co.uk/wxhistory.php?date=201907"]

    def parse(self, response):
        for average_temprature in response.xpath('//td[text()="Average temperature"]/following-sibling::td/text()').extract():
            yield {
                "Average Temperature": average_temprature
            }

就目前而言，这正在拉动我需要的临时数据，我只想从每个日期追溯到2008年4月。

谢谢

八月