如何在Python

Question

我目前的任务是抓住热门的笑话网站。一个例子是名为jokes.cc.com的网站。如果您访问该网站，将光标暂时悬停在页面左侧的'获取随机笑话'按钮上方，您会发现它重定向到的链接将为jokes.cc.com/#。

如果您等待一段时间，它会更改为网站中显示实际笑话的正确链接。它更改为jokes.cc.com/*legit joke link*。

如果您分析页面的HTML，您会注意到有一个<a>链接class=random_link，其<href>存储了该页面所需的随机笑话的链接重定向你做。您可以在页面完全加载后进行检查。基本上，'＃'被合法链接取代。

现在，这是我用于删除HTML的代码，就像我现在使用静态网站一样。我使用过BeautifulSoup库：

import urllib
from bs4 import BeautifulSoup

urlToRead = "http://jokes.cc.com";
handle = urllib.urlopen(urlToRead)
htmlGunk =  handle.read()
soup = BeautifulSoup(htmlGunk, "html.parser")
# Find out the exact position of the joke in the page
print soup.findAll('a', {'class':'random_link'})[0]

  

输出：＃

这是预期的输出，因为我已经意识到页面还没有完全呈现。

如何在等待一段时间后或渲染完成后刮取页面。我是否需要使用 Mechanize 等外部库？我不确定如何做到这一点，所以感谢任何帮助/指导

编辑：我终于能够通过在Python中使用PhantomJS和Selenium来解决我的问题。这是在渲染完成后获取页面的代码。

from bs4 import BeautifulSoup
from selenium import webdriver


driver = webdriver.PhantomJS() #selenium for PhantomJS
driver.get('http://jokes.cc.com/')
soupFromJokesCC = BeautifulSoup(driver.page_source) #fetch HTML source code after rendering
# locate the link in HTML
randomJokeLink = soupFromJokesCC.findAll('div', {'id':'random_joke'})[0].findAll('a')[0]['href']
# now go to that page and scrape the joke from there
print randomJokeLink #It works :D

Answer 1

您之后的数据是由在页面加载时动态运行的JavaScript生成的。 BeautifulSoup没有JavaScript引擎，所以等待多长时间并不重要，链接永远不会改变。有些Python库可以抓取并理解JavaScript，但最好的办法是挖掘并弄清楚网站上的JS是如何工作的。例如，如果他们有一个笑话的数据馈送，从中抽取一个随机笑话，它可能采用像JSON这样的格式，Python可以很容易地解析。这将使您的应用程序比包含完整的脚本引擎更轻量级。