使用Python解析动态网页

时间:2015-03-02 11:54:55

标签: python web-scraping dynamic-websites

当我按箭头键获取下拉列表时,我正在尝试解析其html源代码更改的WebPage。 我想解析该下拉列表的内容。我怎么能这样做?

问题示例:如果您访问此站点:http://in.bookmyshow.com/hyderabad并选择comboBox“选择电影”上的箭头按钮,则会出现一个电影下拉列表。我想得到这些电影的清单。

提前致谢。

3 个答案:

答案 0 :(得分:2)

包含用于填充下拉框的数据的实际网址如下:

我会有点小心,并仔细检查网站的使用条款,或者是否有任何可以使用的API。

答案 1 :(得分:0)

您需要深入了解JavaScript以了解该菜单的填充方式。如果通过AJAX填充,那么通过重新对同一URL请求来获取该内容可能很容易(例如,执行GET到“http://www.example.com/get_dropdown_entries.php”)。

答案 2 :(得分:0)

您可能需要查看selenium。它允许您以与您相同的步骤重现,因为它也使用浏览器(Firefox,Chrome等)。

Ofc,它没有使用mechanize,urllib,beautifulsoup等所有这些东西那么快,但值得一试。