从列表中分割数据到页面

时间:2016-02-10 13:27:18

标签: web-scraping

我试图从这两页中删除一系列体育场馆: openplay.co.uk 和mylocalpitch.com 在第二个中,场地的搜索结果被分成每页10个。现在当我在它上面运行一个刮刀时,它会查看前十个搜索结果,但不会查看那些隐藏的搜索结果。在其他页面。 我正在使用一个名为import.io的scrape工具,它失败了。有没有可以做到的工具?我需要自己写吗?

1 个答案:

答案 0 :(得分:0)

我为您的网站制作了一个快速API,并设法获得超过20页。如果您访问以下链接:

https://import.io/data/mine/?id=01ac4491-e40a-4e2b-a427-c057692e3d96

您可以看到一个名为下一页的按钮,该按钮可以在第10个结果之后为您提供其他搜索结果。

让我知道你是怎么过的。