网络抓取-是什么导致我的request.get()函数花费比CPU时间更长的时间?

时间:2018-10-11 23:40:06

标签: python web-scraping python-requests

我正在尝试抓取网页,但是'requests.get()'所需的时间比我习惯的要长得多。

是什么原因导致CPU时间与Wall时间的巨大差异,如下所示?我已经退出了所有其他应用程序,更新了请求包,但在这里没有收到任何运气。

%%time 
import requests

# Initial Scrape
KMX_url = "https://www.carmax.com/cars?location=all"

headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36'}
r = requests.get(KMX_url, headers = headers)

CPU times: user 180 ms, sys: 28.5 ms, total: 209 ms
Wall time: 2min 34s

0 个答案:

没有答案