如何使用scrapy在网页中选择选项

Question

考虑this website

网站上有年份的选择选项：

<select id="year" name="year">
<option value="2000">2000</option>
<option value="2001">2001</option>
<option value="2002">2002</option></select>

我想从2010-2020中选择选项，然后抓取信息。我该如何开始？

Answer 1

当您选择年份时，页面将重定向到https://www.timeanddate.com/holidays/us/<year>。因此，最好在刮板中使用该网址。

for year in range(2010, 2021, 1):
    url = f'https://www.timeanddate.com/holidays/us/{year}'
    yield scrapy.Request(url, callback=self.my_callback)