我正在尝试一个“ scrapy-with-splash”项目,以从网站“ https://sailing-channels.com/by-subscribers”中删除一些字段。当滚动时,此站点使用Java检索和删除列表。
我没有运气让启动服务器为我提供整个数据集,也没有任何关于该事项的详细清单。
我的第一个问题是,即使这样做也可以飞溅吗?
我真的不在乎如何获取这些数据。我更喜欢使用程序来完成此工作,但是可以从此站点获取.csv文件中的字段的任何工具都可以完成此工作。有人有建议吗?
谢谢您的建议
答案 0 :(得分:0)
为什么要渲染它?他们有相当不错的API,请检查https://sailing-channels.com/api/channels/get?sort=subscribers&skip=0&take=5&_=1548520116425
。这样就可以进行迭代,每次增加skip
参数并解析json。
看起来非常有前途。