Python请求通过HTTPS隧道获取数据

Question

我目前正在从https://www3.bcb.gov.br/expectativas/publico/en/serieestatisticas

的公开系列数据中提取数据

这是一个使用apache wicket的公共页面。我相信。

无论是GET还是POST，我通常都可以进行抓取。在这里，我和我的同事都被困住了。任何人都可以帮助理解需要使用哪些URL来实际发出请求。这是我到目前为止所得到的：

带输入的表格：

手动执行Fiddler捕获：

文字视图： form19_hf_0 =安培; indicador = 0＆安培; calculo = 0＆安培; linhaPeriodicidade％3Aperiodicidade = 0＆安培; tfDataInicial = 11％2F10％2F2015＆安培; tfDataFinal = 11％2F24％2F2015＆安培; divPeriodoRefereEstatisticas％3AgrupoAnoReferencia％3AanoReferenciaInicial = 16＆安培; divPeriodoRefereEstatisticas％3AgrupoAnoReferencia％3AanoReferenciaFinal = 16＆安培; btnCSV =生成+ CSV

表单数据我在请求中传递：

要点：

我需要一些帮助，我似乎无法使POST工作正常，它会将我带到另一个页面，而且我不确定如何通过这个工作。

注意：我正试图抢回CSV。

我使用的库主要是请求（我打算使用LXML，但我认为它不适用于此处）。

我一直试图找出Postman和Fiddler的正确表格，以了解需求是什么。

Answer 1

所以，

对此的解决方案有点间接。我们无法进行直接POST，因为该页面以通常无法预测的方式增加了实际的POST URL。

我们使用的解决方案是安装Selenium Web驱动程序并使用它来模拟下拉列表可见值和按钮点击。

这很干净。

感谢HTH和其他可能遇到类似问题的人。