如何下载分页Jquery / JS表的内容?

时间:2013-01-21 15:46:16

标签: jquery web-scraping download pagination

我的愿望是下载分页Jquery或Javascript表的全部内容,而不必在每个200页上手动点击并复制内容。

要获取的表的

示例http://theforexchampionship.com/ranking/

更一般地说,这个问题适用于JQuery插件创建的表,例如Jquery Datatables?

是否有一种方法,比如,一个自动脚本,一个在JS中注入参数的工具(例如“0,999999”边界到JS lib,它将提供一个带有最小和最大边界的函数),或者一些绕过它吗?

精确度:我说的是一个您无法访问源代码的网站

2 个答案:

答案 0 :(得分:0)

这些表后面通常有一个数据服务(即会回复每个页面的数据)。

查看页面的源代码,了解它的工作原理,然后编写自己的代码,连接到同一个源,获取数据并以您喜欢的方式显示它。

请注意,您不需要Web服务器;在同一文件夹中包含一些JavaScript的本地HTML文件将起作用。

在途中可能会受到伤害的一些事情:

  • 如果网站需要授权,您将不得不以某种方式复制
  • 数据库中的数据受某些国家/地区的版权或特殊法律保护;请注意有人可能会反对
  • 即使这是合法的,一些管理员/公司也会在人们敲门时讨厌它。如果您不想被禁止,请求许可。

答案 1 :(得分:0)

您可以使用trigger执行客户端事件,然后使用each

遍历每个表格单元格