使用python访问和webscrape动态页面

Question

我正在尝试使用它的表单参数访问网页。 我在chrome的开发人员标签中找到了使用网络标题的表单参数。 但它没有用，相反它只是在使用这些参数之前打开页面（即www.irishancestors.ie/search/townlands/ded_index.php）

import webbrowser

webbrowser.open('http://www.irishancestors.ie/search/townlands/ded_index.php?action=listp&parish=Aghagallon')

我的意图是检索所有县的每个地区选举司的所有表格。

Answer 1

webbrowser没有按照你的想法做到。

如果您想要将数据发送/发布到网页，则应使用requests

>>> import requests
>>> r = requests.get('https://api.github.com/events')
>>> r = requests.post('http://httpbin.org/post', data = {'key':'value'})

webbrowser用于启动您的网络浏览器。

请注意，如果使用了大量的javascript，这将无法正常工作（嗯，它可能，但它需要你做更多的工作）。如果你有很多Javascript，可能更容易使用selenium