如何在使用BeautifulSoup进行抓取之前加载网页?

时间:2017-09-11 03:30:09

标签: javascript python html web-scraping bs4

我正在尝试制作一个小型的Snow Day Calculator python程序,我想我可以使用BeautifulSoup来完成这项工作。我能够成功地抓取页面,但是我注意到结果总是0%。然后我注意到这是因为它加载后需要网站大约一两秒才能显示百分比,这是因为网站的反应性javascript。

我如何加载网页,等待两到三秒,然后刮下网页了解下雪天百分比?

代码:

import urllib
import bs4

def getPercent(zip):
    url = "https://snowdaypredictor.com/result.html?q="+zip
    print url
    page = urllib.urlopen(url)
    soup = bs4.BeautifulSoup(page,'html.parser')
    name_box = soup.find('span', attrs = {'id': 'result-percent'})
    print name_box.text.strip(),"%"

getPercent(raw_input("What is your zip code?"))

0 个答案:

没有答案