我正在尝试抓取此网站的内容:http://www.whoscored.com/Matches/824609/Live。如果我在网络选项卡下查看Chrome中的html文件,我可以看到我想要抓取的所有内容。但是,如果我运行下面的脚本,结果中缺少大量数据,数据采用JSON格式。它在游戏中的每个特定事件的数据。当我检查chrome中的内容以及当我刮擦网站时,为什么结果会有所不同?
import requests
from bs4 import BeautifulSoup
url = 'http://www.whoscored.com/Matches/824609/Live'
headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/36.0.1985.125 Safari/537.36'}
response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text)
print soup