使用python从网页获取所有数据

时间:2013-10-30 11:17:51

标签: python html webforms

这是我之前提出的问题的后续问题(请查看Filling a strange webform in python

我正在使用python填充webform并使用urlrequest发送编码请求,然后我打印收到的响应,我看到我没有得到所有信息(相比之下,如果我将看到我会得到的“在浏览器中显示源代码。经过调查,我明白响应只包含网页的静态html部分,而不是所有内容。

所以基本上问题是我如何获得我正在寻找的信息的具体部分,具体的例子,让我说我在希尔顿网站上填写一个webform,我得到的回复不包括价格, 你能告诉我如何从这样一个网站获得“价格”吗?

这就是我正在使用的基本代码:

url = 'http://www3.hilton.com/en/index.html'
query_args = { 'searchQuery':' New York, NY', 'arrivalDate':'31 Oct 2013'....}
data = urllib.parse.urlencode(query_args)
request = urllib.request.Request(url);
binary_data = data.encode(encoding= 'utf-8')
response = urllib.request.urlopen(request,binary_data)
html = response.read() 
print (html)

感谢。

0 个答案:

没有答案