从.jsp捕获响应

Question

我是一个天真的用户。

这个网站是我公司非常重要的信息来源。

要监控网站，我使用page2rss服务将它们转换为RSS提要，然后在IFTTT中监控提要。

但是，此特定网站不使用静态网页并生成对API调用的数据响应：

以下是API调用示例：

https://www.mpeproc.gov.in/ROOTAPP/GetTenderFreeView.jsp?Department=Urban%20Administration%20and%20Development%20Department&company=MPSEDC

有没有办法可以将此调用的响应记录到我服务器上的html页面？或者是否有其他方法来监控这些动态页面。

Answer 1

有解决方案，但不是简单的解决方案。第一页使用JavaScript创建一个然后提交的FORM。您可以使用命令行工具curl模拟此问题;见https://superuser.com/questions/149329/what-is-the-curl-command-line-syntax-to-do-a-post-request

但请注意，很多网站都不喜欢刮痧;如果他们注意到你正在做什么，你可能最终会被列入黑名单。因此，在将自动化工具用于其宝贵数据之前，最好先征求网站所有者的同意。