Question

我正试图抓住新的ESPN NBA记分牌。这是一个简单的脚本，应该在2015年4月5日返回所有游戏的开始时间：

import requests
import lxml.html
from lxml.cssselect import CSSSelector

doc =  lxml.html.fromstring(requests.get('http://scores.espn.go.com/nba/scoreboard?date=20150405').text)

#xpath
print doc.xpath("//title/text()") #print page title
print doc.xpath("//span/@time")
print doc.xpath("//span[@class='time']")
print doc.xpath("//span[@class='time']/text()")

#CCS Selector
sel = CSSSelector('span.time')
for i in sel(doc):
    print i.text

它不会返回任何内容，而是页面标题：

['NBA Basketball Scores - NBA Scoreboard - ESPN']
[]
[]
[]

有人可以帮忙吗？感谢

Answer 1

页面的性质非常动态 - 有异步XHR请求，涉及javascript逻辑。 requests不是浏览器，只下载初始HTML网页，span获取的HTML中没有class="time"个requests元素。

解决问题的方法之一是使用selenium涉及真正的浏览器。以下是使用PhantomJS无头浏览器的示例：

>>> from selenium import webdriver
>>> 
>>> url = "http://scores.espn.go.com/nba/scoreboard?date=20150405"
>>> 
>>> driver = webdriver.PhantomJS()
>>> driver.get(url)
>>> 
>>> elements = driver.find_elements_by_css_selector("span.time")
>>> for element in elements:
...     print element.text
... 

1:00 PM ET
3:30 PM ET
6:00 PM ET
7:00 PM ET
7:30 PM ET
9:00 PM ET
9:30 PM ET

或者，您可以使用data-data在div的{{1}}属性中查找所需数据：

id="scoreboard-page"

使用xpath [Python]刮擦新的ESPN网站

1 个答案: