从几个AJAX页面收集数据（使用浏览器插件？）

Question

我想从某个网站收集机票价格，用于许多日期和目的地。我可以在URL上指定源，目的地和日期，但网站使用AJAX获取数据，因此页面的响应中不能提供价格。在这种情况下，我可以使用任何编程语言来获取数据。

我认为使用Web浏览器一个接一个地加载每个URL，让它呈现页面，然后我只是寻找所需的标签（使用CSS选择器或JS，我猜），这个任务会更好。并将其保存到某个文件或日志，然后移动到下一个URL。稍后我可以查看数据并找到最优惠的价格。

但遗憾的是我无法找到任何浏览器扩展/插件来执行此任务（任何Linux浏览器都可以，Firefox和Chrome更有可能）。我已经熟悉了GreaseMonkey，但这并不是他设计的任务，但我认为它将是一个类似的工具或以类似的方式运作。

有人知道我可以用于此任务的一些工具吗？其他方法也是受欢迎的！

Answer 1

我会使用cURL，检查页面来源以查看传递给页面的post / get数据，然后构建自己的gui来显示数据。您可以非常轻松快速地使用php curl从您自己的Web服务器上运行它。