Python3 MechanicalSoup - 使用aspx

时间:2017-02-05 08:56:42

标签: web-scraping mechanicalsoup

我想从CHP网站获取交通事故数据:https://cad.chp.ca.gov/Traffic.aspx

左上角有一个简单的表格,用户选择一个县,然后会出现该县的交通事故表。

我正在使用MechanicalSoup提交表单,但我要求的请求不包括流量数据表。您可以在上面的链接中自己尝试一下,看看我想要抓住的表格。

这是我的代码:

import mechanicalsoup

browser = mechanicalsoup.Browser()

front_page = browser.get('https://cad.chp.ca.gov/Traffic.aspx')

# Grab the login form
county_form = front_page.soup.select("#form1")[0]

# Set the county in the form
county_form.select('#ddlComCenter')[0]['value'] = 'LACC' # LACC is the code for Los Angeles

# Submit the form
page2 = browser.submit(county_form, front_page.url)

# View the response
print(page2.soup)

page2.soup对象包含大部分页面,但不包含您在“手动”提交表单时看到的表格。

我错过了什么吗?

0 个答案:

没有答案