使用BeautifulSoup获取隐形网页信息

时间:2017-03-28 10:39:35

标签: parsing web beautifulsoup urllib

我正在尝试从网站“https://www.estimize.com/jpm/fq3-2016#chart=table”获取一些信息,更准确地说是位于页面底部的所有个人估算值。但它只显示前30,然后你应该手动按“全部显示”按钮再获得30,依此类推。 到目前为止,这是我的代码:

from urllib import urlopen
from bs4 import BeautifulSoup
html = urlopen("https://www.estimize.com/jpm/fq3-2016#chart=table")
soup = BeautifulSoup(html.read(), "html.parser")
print(soup)

我看到有一部分印刷代码:

"totalCount":142,"total_estimates_showing":30,"

是否可以更改此内容以打印所有估算值?

1 个答案:

答案 0 :(得分:1)

查看网站点击“全部显示”按钮时发出的ajax请求,你应该解析网址:

https://www.estimize.com/jpm/fq3-2016?sort=rank&direction=asc&estimates_per_page=142&show_confirm=false&selected_user=&_=1490697888459

直接获得所有结果