解析多个页面而不更改URL地址

Question

我希望解析here中的表格内容。但是，该表继续分为多个页面。我的问题是，由于page 2地址没有变化，我无法从url开始解析页面。如何找到存储其他页面的url地址？我正在使用lxml和requests。

Answer 1

如果您打开Chrome DevTools并点击＆＃34; 2＆＃34;在分页控件上，您将看到脚本发出的请求，以获取页面的日期＆＃34; 2＆＃34;：

POST https://www.mutualfundindia.com/MF/return/TopFundDetails?page=2

表单数据：

__RequestVerificationToken:AYv1N1VEGXTeLKMbnHolT_bste-CiFcH1GAjQgh1O7c_Ygm0-wIP3j47yN6e5tzYx3EumwCRBYcxI6825nH28W_qO60ZMlnAm4f1utRjqL4wgokl87pgsV4anV4vKtSjk6XV0g2
Rank:-1
Type:-1
Nature:-1
SubNature:-1
cmdAum:1
Period:1Year
ShortingOrder:DESC
hdHeaderId:1Year

您可以在页面中的元素中找到__RequestVerificationToken的值：

<input name="__RequestVerificationToken"...

请求的响应是纯HTML。

我想，如果您提出此类请求，则会解析所有日期。

希望，这有帮助。