在网址请求中发送哪些其他数据?

时间:2016-06-13 13:12:37

标签: html python-3.x urllib urlrequest

简短版本:在获取带有urllib的网址时,我如何知道如何在显示不同的html文件但属于同一网址的其他数据(如网页上的特定选项)?

长版: 我无法弄清楚如何处理网址请求的属性,这些属性不是由链接URL确定的,而是可能是浏览器通常发送的其他信息。 更确切地说: This page包含一个我想用python读取的表,但是表的长度取决于你在左下角选择的每页的项数(即我从urllib获得的代码中的项数。 request.urlopen是50或者什么的标准,而不是完整的表格。单击按钮例如每页400个项目不会更改URL,所以我希望在其他地方发送一些信息。据我所知,使用urllib可以发送除url之外的其他数据,但我不清楚如何弄清楚我应该如何在该数据中使用“给我整个表格”(或“每页给我400个项目”)。

研究我在浏览器中保存网页得到的.html文件没有给我任何提示,我错过了在网上搜索答案的词汇(也就是说,谷歌搜索“urllib请求参数”太模糊了) 。 因此,如果有人能指出我这个问题的副本,我会完全满意。

提前致谢:)

1 个答案:

答案 0 :(得分:0)

对于其他人发现这个问题,我将详细阐述@deceze在评论中给出的答案:

  • 打开要在浏览器中阅读的网页
  • 打开浏览器网络面板(在铬中,这是[Strg + Shift + I]或右键单击>检查
  • 转到"网络"标签(至少在铬中)
  • 执行您希望程序执行的操作,空网络面板列表将填充大量数据
  • 在事件列表中找到您的请求(其中一个是正确的,我猜),点击它然后选择" Headers"