从网站提取数据

Question

我想从website，

中提取属性数据

我使用机械化从少数网站获取数据， 我在这个网站上尝试过机械化，我得到了第一页结果的所有重复结果。

但是在这个website中，所有结果调用都基于ajax调用，

我如何从这类网站中获取数据，他们使用ajax，并在某些ajax调用中加密。

提前致谢

Answer 1

在第一次加载页面期间，您无法使用Mechanize或普通HTTP请求获取Ajax请求的结果。您必须根据该页面中的参数向其Ajax主机发出后续请求，并使用适当的值，即加载页面后浏览器将使用的相同值。

这需要使用类似Watir的内容，因此您可以编写脚本然后检索Ajax请求接收的数据，或者通过分析嵌入式JavaScript来确定Ajax请求和欺骗使用的参数他们的系统有另一个Mechanize或HTTP请求。