使用request.post()访问表单完成后的网页

时间:2019-05-14 20:59:20

标签: python post parameters python-requests

我正在使用Python抓取房地产列表网页。目前,我正在导航到网站(https://www.mlslistings.com/),在搜索框中输入邮政编码,然后单击“搜索”,然后将生成的URL复制粘贴到要剪贴的脚本中。

最终,我想遍历一个邮政编码列表,获取要抓取的每个页面的URL。因此,首先我需要弄清楚如何执行此操作-从主页开始,我希望访问将邮政编码输入搜索框之后的页面。

我的印象是,可以使用request.post()和指向要填充的字段以及相应的输入文本的“数据”字典来完成此操作。

我尝试过

url = 'https://www.mlslistings.com'
data = {'input id': '94618'}
page = requests.post(url, data=data)
response = page.text

在这里,我基于检查主页并找到显示元素的搜索栏使用了“输入ID”键

<input id="searchText" type="text" name="searchText" class="form-control font-size-lg" placeholder="California City, Zip, Address, School District, MLS #" data-type="search" maxlength="300" aria-label="California City, Zip, Address, School District, MLS #" autocomplete="off">

我希望最终的响应对象是html文档,其中包含当我在浏览器中手动搜索“ 94618”时获得的页面上显示的信息。相反,它看起来像主页的html文档。

我在数据字典中错误地命名了键,还是在其他地方出错了?任何帮助将不胜感激。

0 个答案:

没有答案