使用Python请求的HTML 501错误

时间:2013-08-29 11:13:45

标签: python http cookies http-headers httprequest

我正在编写一个Python脚本来搜索火车票。所以我的第一步是尝试在https://venta.renfe.com/vol/inicioCompra.do

进行检票

我尝试过机械化,但它得到了:

RuntimeError: maximum recursion depth exceeded while calling a Python object

我打开网址后,可能是因为该网站的格式不正确。

所以接下来的尝试是使用Python Requests库,并使用我在firebug中看到的相同请求头。所以我的代码看起来像:

import requests

headers = {'Cache-Control': 'max-age=0',
           'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
           'Accept-Encoding': 'gzip,deflate,sdch',
           'Accept-Language': 'es,en-GB;q=0.8,en;q=0.6',
           'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/28.0.1500.72 Safari/537.36',
           'Content-Length': '118',
           'Content-Type': 'application/x-www-form-urlencoded',
           'Connection': 'keep-alive',
           'Host': 'venta.renfe.com'}

cookies = {'target': '_self',
           'pagina': '/vol/index.do',
           'mensajeErrorSesion': 'null (null-U014)',
           'url_logout': '/vol/index.do',
           'tipoUsuario': 'N',
           'JSESSIONID': '0000W1mXLh9qNdE6l-qaEExFc9Y:15df38flv',
           'org.springframework.web.servlet.i18n.CookieLocaleResolver.LOCALE': 'es_ES',
           's_cc': 'true',
           's_fid': '5C053C8CEF00A17B-2B7E62472A63CF66',
           's_nr': '1377790666229-New',
           'gpv_p6': 'Venta%3APagina%20Principal',
           's_sq': 'renfeprod%3D%2526pid%253DVenta%25253APagina%252520Principal%2526pidt%253D1%2526oid%253Djavascript%25253AestacionesAccesibles%252528%252529%25253B%2526ot%253DA Host:venta.renfe.com Origin:https://venta.renfe.com Referer:https://venta.renfe.com/vol/inicioCompra.do'}

payload = {'IdOrigen': 'Madrid (*)',
           'IdDestino': 'Oviedo',
           'FechaIdaSel': '15/11/2013',
           'FechaVueltaSel': '17/11/2013'}

r = requests.post('https://venta.renfe.com/vol/inicioCompra.do', data=payload, cookies=cookies, headers=headers)
print r

但后来我收到501 HTML代码错误:未实现。我想我错过了一些东西,可能是cookie信息,但我不知道从哪里获取cookie信息,或者我错过了其他任何东西。

有什么想法吗?

1 个答案:

答案 0 :(得分:1)

我查看了网站,看来您正在使用GET HTTP方法检索数据,而实际需要的是POST。

当Web服务器不理解客户端在请求中发送的HTTP谓词时,通常会将HTTP 501作为对客户端的响应发送。

尝试更改代码:

r = requests.get('https://venta.renfe.com/vol/inicioCompra.do', data=payload, cookies=cookies, headers=headers)

类似

r = requests.post('https://venta.renfe.com/vol/inicioCompra.do', data=payload, cookies=cookies, headers=headers)

注意:我没有使用过请求,因此您可能需要仔细检查函数调用参数。有关快速参考,请参阅this链接。

希望这会有所帮助 - 这是我在Chrome中可见的标题转储。注意您缺少标题中的Content-Type,Content-Length参数。另请注意cookie的内容。

Accept:text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8 
Accept-Encoding:gzip,deflate,sdch 
Accept-Language:en-US,en;q=0.8 
Cache-Control:max-age=0 
Connection:keep-alive Content-Length:118 
Content-Type:application/x-www-form-urlencoded 

Cookie:target=_self; pagina=/vol/index.do; mensajeErrorSesion=null (null-U014); url_logout=/vol/index.do; tipoUsuario=N; JSESSIONID=0000W1mXLh9qNdE6l-qaEExFc9Y:15df38flv; org.springframework.web.servlet.i18n.CookieLocaleResolver.LOCALE=es_ES; s_cc=true; s_fid=5C053C8CEF00A17B-2B7E62472A63CF66; s_nr=1377790666229-New; gpv_p6=Venta%3APagina%20Principal; s_sq=renfeprod%3D%2526pid%253DVenta%25253APagina%252520Principal%2526pidt%253D1%2526oid%253Djavascript%25253AestacionesAccesibles%252528%252529%25253B%2526ot%253DA Host:venta.renfe.com Origin:https://venta.renfe.com Referer:https://venta.renfe.com/vol/inicioCompra.do 
    User-Agent:Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/28.0.1500.95 Safari/537.36