Web爬虫在网站上执行任务

时间:2016-07-12 03:04:49

标签: web-crawler

是否可以对网络抓取工具进行编程以执行以下操作?

  1. 转到https://sitecheck.sucuri.net//
  2. 使用在线工具扫描指定的网站
  3. 返回结果

  4. 红利问题......可以安排每天一次自动完成此任务吗?

  5. 自动编程蜘蛛是否违法或做任何事情?

    我们非常感谢您提供的任何信息。谢谢!

1 个答案:

答案 0 :(得分:0)

您可能不需要抓取工具,像WebDriver这样的浏览器自动化API可以解决这个问题。有各种后端以不同的编程语言实现API和客户端库。

您也可以直接使用PhantomJS编写脚本来加载和提取页面中的数据。

无论哪种方式,cronscript都可以每天调用一次这个过程。