Question

我将如何在一个网站的多个页面上进行抓取，这些页面可通过下拉列表和按钮进行抓取？我知道如何通过找到指向当前页面下一页的链接来进行分页，但是对于这种情况，无法应用相同的技术。

我想到的一个想法是找到下一个下拉选项的值，然后将URL更改为直接指向相应页面。这将是一个有效的解决方案吗？

下面是一个示例：http://highschoolsports.nj.com/football/standings/?grouping=15764

Answer 1

首先访问有关团队的页面之一。例如GMC Blue，然后从下拉选择中获取所有value。

 <option value="">Select a Conference - Division</option>
 <option value="15764" selected="selected">GMC - Blue</option>
 <option value="15767">GMC - Red</option>
 <option value="15713">GMC - White</option>
 <option value="18380">Independent</option>
 <option value="15773">Mid-State 38 - Delaware</option>
 <option value="15854">Mid-State 38 - Mountain</option>
 <option value="15824">Mid-State 38 - Raritan</option>
  ....

http://highschoolsports.nj.com/football/standings/?grouping=18380创建一个for循环并更改每个请求中分组的值。

Scrapy：如何抓取从下拉列表中选择的多个网页

1 个答案: