Python Scrape动态加载网页的文本

时间:2014-05-25 12:30:12

标签: javascript python html selenium beautifulsoup

我已经使用请求和BeautifulSoup编写代码以便抓取网页。但事实证明,页面动态加载,我认为,JS。我找到了一种方法来让页面使用selenium从python中加载其他内容。但是在通过selenium创建的chrome浏览器中,当我转到页面源时,我看不到已生成的新内容。我是否需要放弃请求+ bs路由并使用selenium重做所有内容?

如果是这样,我如何将以下代码翻译成Selenium可以做的事情?

h6s = soup.find_all('h6')
projecturls = []
for i in h6s:
    tempurl = i.find_all('a', href=True)[0]['href']
    projecturls.append(tempurl)

0 个答案:

没有答案