标签: web-crawler
是否可以对网络抓取工具进行编程以执行以下操作?
返回结果
红利问题......可以安排每天一次自动完成此任务吗?
自动编程蜘蛛是否违法或做任何事情?
我们非常感谢您提供的任何信息。谢谢!
答案 0 :(得分:0)
您可能不需要抓取工具,像WebDriver这样的浏览器自动化API可以解决这个问题。有各种后端以不同的编程语言实现API和客户端库。
您也可以直接使用PhantomJS编写脚本来加载和提取页面中的数据。
无论哪种方式,cronscript都可以每天调用一次这个过程。