如何逐步抓取Google结果?

时间:2019-09-11 14:44:09

标签: python python-requests google-search time-to-first-byte

我想尽快抓取Google。 Google在浏览器中逐步加载,其中加载结果分为Waiting(TTFB)Content Downlaod

enter image description here

我正在使用python requests抓取Google。 requests的时机只有Waiting(TTFB)和一点Content Download

enter image description here

代码如下:

google_url = 'https://www.google.com/search?q={}&num={}&start={}'.\
        format(escaped_search_term, size, offset)
response = self.session.get(google_url, verify=False,
                            headers={'User-Agent': self.USER_AGENT})
return response.text

我想尽快加载结果,因此我必须像浏览器一样逐步下载google结果。我该怎么办?

0 个答案:

没有答案