我正在尝试抓取网页,但是'requests.get()'所需的时间比我习惯的要长得多。
是什么原因导致CPU时间与Wall时间的巨大差异,如下所示?我已经退出了所有其他应用程序,更新了请求包,但在这里没有收到任何运气。
%%time
import requests
# Initial Scrape
KMX_url = "https://www.carmax.com/cars?location=all"
headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36'}
r = requests.get(KMX_url, headers = headers)
CPU times: user 180 ms, sys: 28.5 ms, total: 209 ms
Wall time: 2min 34s