https://sailing-channels.com/by-subscribers的启动问题

时间:2019-01-26 16:20:07

标签: scrapy splash

我正在尝试一个“ scrapy-with-splash”项目,以从网站“ https://sailing-channels.com/by-subscribers”中删除一些字段。当滚动时,此站点使用Java检索和删除列表。
我没有运气让启动服务器为我提供整个数据集,也没有任何关于该事项的详细清单。

我的第一个问题是,即使这样做也可以飞溅吗?

我真的不在乎如何获取这些数据。我更喜欢使用程序来完成此工作,但是可以从此站点获取.csv文件中的字段的任何工具都可以完成此工作。有人有建议吗?

谢谢您的建议

1 个答案:

答案 0 :(得分:0)

为什么要渲染它?他们有相当不错的API,请检查https://sailing-channels.com/api/channels/get?sort=subscribers&skip=0&take=5&_=1548520116425。这样就可以进行迭代,每次增加skip参数并解析json。 看起来非常有前途。