没有下一个按钮的ASP生成结果的相对XPath分页[Octoparse]

时间:2016-12-15 06:10:23

标签: xpath pagination web-crawler screen-scraping

我正在尝试搜索一个政府网站,该网站提供的结果在Octoparse中没有下一个按钮。

Example of the Pagination

是否有一种非混乱的方式来格式化相对XPath,以便按顺序单击下一页?

Page One = .//*[@id='datagrid_results']/tbody/tr[42]/td/a[1]
Page Two = .//*[@id='datagrid_results']/tbody/tr[42]/td/a[2]

我已经尝试过Octoparse教程,但他们只提到如何在有下一个按钮的情况下循环。这种情况下我最好不要使用Selenium吗?

1 个答案:

答案 0 :(得分:0)

我使用并行脚本运行,这很好,因为Octoparse将任何一个scrape限制为20,000个结果。我所做的是复制脚本,然后在第41-80页的结果的第二页插入一个单击。然后我复制了那个脚本并添加了第二次点击结果的第三页,81-120 ......依此类推。它没有做任何其他工作,因为相对XPath完全相同。