我想从数百个网页中抓取信息。循环浏览网页地址是最简单的部分,因此让我们看一个典型的网页:
https://adams.ohioboe.com/apps/xmlview.aspx?bpty=X&elec=20181106G&prsid=01____1&lang=en
下拉菜单包含18个选项。选择其中一个选项并单击“跳至Office”按钮后,网站将从服务器中获取信息,执行完全重新加载,新信息将显示在框下方。我需要的是该信息(文本)。还有一个“下一次竞赛”按钮将执行类似的操作(从服务器获取信息并完全重新加载)。
我的问题是我如何使用Python或JavaScript来获取HTML,然后以表格的形式循环显示18个选项,这样我就可以为每个选项解析下拉框下方的信息(文本)了。 / p>
PS。 1.我知道如何处理HTML并在拥有HTML信息后解析相关信息。 2.我知道俄亥俄州的京东方提供选举结果。我不需要它们,我特别需要HTML文本,该文本将在下拉列表中为每个选项显示。 3.我检查了HTML(F12),但不知道每次选择另一个选项时HTML的变化程度如何(我看不到“ selected”属性已添加到任何选项中)