机械化如何成为真正的浏览器?

时间:2018-06-11 01:42:01

标签: python web-crawler mechanize

我正在使用python库mechanize来搜索Google.com中的单词。 当我搜索谷歌时,我会在一秒钟内得到完整的回复。但是当我使用My Python脚本时,响应将被收到超过三秒钟。我想知道获得相同结果是否正常。或者我该怎么做才能优化我的脚本。这是我的代码:

# -*- coding: utf-8 -*-
import sys
reload(sys)
sys.setdefaultencoding('utf-8')
import mechanize
import time
br = mechanize.Browser()
br.set_handle_equiv(True)
br.set_handle_redirect(True)
br.set_handle_referer(True)
br.set_handle_robots(False)
br.set_handle_refresh(mechanize._http.HTTPRefreshProcessor(), max_time=1)
br.set_debug_http(True)
br.set_debug_redirects(True)
br.set_debug_responses(True)
br.addheaders = [('User-agent', 'Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1453.94 Safari/537.36'
)]
T1 = time.time()
r = br.open('https://www.google.com/')
for f in br.forms():
    print f
br.select_form(nr = 0)
br.form['q'] = "train"
br.submit()
brr=br.response().read()
print brr
T2 = time.time()

0 个答案:

没有答案