如何使用beautifulsoup抓取使用JavaScript的网站?

时间:2017-01-26 06:21:45

标签: beautifulsoup dot.js

Fri Dec 13 21:45:53 1901

上面给出的是我试图抓取的网站代码的一部分。我想获取= it.url中的值。我试图获取href的所有值,尝试搜索变量it.url的初始化。所有这些都回馈了一个空元组。有没有办法可以获取url值?任何建议都将是一个巨大的帮助。

使用此Link获取完整代码。

1 个答案:

答案 0 :(得分:0)

通过使用selenium和PhantomJS解决了该问题,我使用以下代码来获取经过处理的HTML代码

from selenium import webdriver
driver = webdriver.PhantomJS() 
driver.get(url)
time.sleep(5)
result=driver.page_source