选择多个下拉菜单后抓取

时间:2018-10-08 05:11:28

标签: python selenium web-scraping scrapy

我有一个网站,其中有三个下拉菜单,分别是国家/地区/州/省/城市。

选择国家后,州下拉列表将显示相应的值,然后当我们选择州之一时,城市下拉列表将显示整个城市列表,最后,当我们选择城市时,它会显示一个表格作为我想要的输出为每个国家的城市刮擦...

我已经尝试完成此任务,但是如果有人能帮助我,以下是这个网站,那就是徒劳的:https://shipped.com/shipping-containers-for-sale.php

1 个答案:

答案 0 :(得分:2)

这很简单。如果单击所有“国家”,“州”和“城市”部分,它将移至特定页面。在该页面的HTML源代码中,存在以下源代码:

<select name="state" id="state" class="radius" required> == $0

其中包含状态名称的选项值列表。

此外,上述代码的下一个兄弟姐妹表示为:

<select id="city" name="city" class="radius" onchange="this.form.submit()">

具有城市名称列表。您要做的是遍历州名并获取城市名列表。 .find_element_by_id.find_element_by_name之类的方法将非常有用。

希望这会有所帮助!