我想尽快抓取Google。 Google在浏览器中逐步加载,其中加载结果分为Waiting(TTFB)
和Content Downlaod
。
我正在使用python requests
抓取Google。 requests
的时机只有Waiting(TTFB)
和一点Content Download
。
代码如下:
google_url = 'https://www.google.com/search?q={}&num={}&start={}'.\
format(escaped_search_term, size, offset)
response = self.session.get(google_url, verify=False,
headers={'User-Agent': self.USER_AGENT})
return response.text
我想尽快加载结果,因此我必须像浏览器一样逐步下载google结果。我该怎么办?