python-使用urllib检索Web内容,但从我使用浏览器获得的内容中得到了不同的内容

时间:2018-04-26 11:33:40

标签: python python-requests web-crawler urllib

我想使用this site编写翻译api,在使用通配符处理句子时,它具有许多理想的功能。

首先,我在chrome中使用F12来查看请求url用于生成结果的请求。  Here is the screen shot:

我检查过,当我使用不同的输入时,只有saltsigh发生了变化。 所以我查看了js源代码,了解saltsigh是如何生成的。 然后我使用python库urllib发送请求并获得响应。但是当我使用浏览器获取它时,响应转换并不相同。例如,

  
    

输入:"#head_entity#发布在哪个专辑?"

         

Output_browser:"#head_entity#发布了什么专辑?"

         

Output_python:"发布的专辑是什么#head_entity?#"

  

这显然是不同的。

这是产生我的结果的代码:

import urllib.request
import urllib.parse 
import json 
import time 
import random 
import hashlib 
def translator(content):
    """arg:content"""
    url = 'http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule' 
    data = {} 
    u = 'fanyideskweb' 
    d = content 
    f = str(int(time.time()*1000) + random.randint(1,10)) 
    c = 'rY0D^0\'nM0}g5Mm1z%1G4' 
    sign = hashlib.md5((u + d + f + c).encode('utf-8')).hexdigest() 
    data['i'] = content 
    data['from'] = 'AUTO' 
    data['to'] = 'AUTO' 
    data['smartresult'] = 'dict' 
    data['client'] = 'fanyideskweb' 
    data['salt'] = f 
    data['sign'] = sign 
    data['doctype'] = 'json' 
    data['version'] = '2.1' 
    data['keyfrom'] = 'fanyi.web' 
    data['action'] = 'FY_BY_CL1CKBUTTON' 
    data['typoResult'] = 'true' 
    data = urllib.parse.urlencode(data).encode('utf-8') 
    request = urllib.request.Request(url=url,data=data,method='POST') 
    response = urllib.request.urlopen(request) 
    d = json.loads(response.read().decode('utf-8'))
    return d['translateResult'][0][0]['tgt']
translator('what album was #head_entity# released on?')

我认为我改变以使请求与原始页面不同的唯一事情是代码中的url参数:

  
    

My_url =' http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule'

         

Original_url =' http://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule'这给了我一个错误{"errorCode":50}

  

我逐个检查了标题和数据参数,但仍然无法解决问题。我不知道为什么会这样。有什么想法吗?

0 个答案:

没有答案