Question

一小时前，我启动了tailing apache日志文件（访问日志），从那时起，我注意到了这个奇怪的用户代理，（无法找到Google的官方文档）。

我对此感到怀疑，因为我无法在Google网站上找到有关此用户代理的任何内容，

("Mozilla/5.0 (compatible; GoogleApps script; +http://script.google.com/bot.html))

它每天都在抓取我们网站的登录页面。

以下是日志片段：

72.14.199.55 - - [07/Aug/2013:16:06:28 +0000] "GET / HTTP/1.1" 302 639 "-" "Mozilla/5.0 (compatible; GoogleApps script; +http://script.google.com/bot.html)"

72.14.199.55 - - [07/Aug/2013:16:06:28 +0000] "GET /accounts/login/ HTTP/1.1" 200 3780 "-" "Mozilla/5.0 (compatible; GoogleApps script; +http://script.google.com/bot.html)"

它和IP一样。它仍然是，

看到这种爬行模式是否常见？

Answer 1

Google Apps脚本允许用户编写基于JavaScript的代码，并将其设置为按照指定的时间间隔从Google服务器运行。

这不是Google的网络抓取工具，而是Google用户编写的脚本。

另外：如果您阻止IP或Google用户可能会被“你的脚本无法运行”的电子邮件每分钟轰炸一次。

Google Apps Script Bot每分钟都会反复抓取网站

1 个答案: