我想知道谷歌何时抓取网站，最好是给自己发送电子邮件。
有没有办法做到这一点不会对性能产生负面影响？
答案 0 :(得分：2)
您的IIS日志文件（usu。在c:\windows\system32\logfiles ...）中将显示蜘蛛抓取您的网站的时间。确保您已启用日志记录并记录浏览器/用户代理。浏览器代理是一个字符串，其中包含Web浏览器/ bot的名称/请求页面的任何内容。大多数条目在视觉检查上都很明显（例如，googlebot包含字符串“googlebot”）。
如果您希望收到通知，我会有一个每15或20分钟运行一次的任务，扫描自上次扫描后的日志条目，并通过电子邮件向您发送模式匹配，如前一位受访者所建议的那样。
答案 1 :(得分：1)
用户代理将自己标识为gsa-crawler / Googlebot，具体取决于Google设备或Google。您可以编写一些代码（Request.ServerVariables("HTTP_USER_AGENT")）来监视它或分析IIS日志文件。
您可能需要验证机器人确实是Google，即something to watch out for。
如果您需要尽快发送的电子邮件，我会选择Web应用程序根目录，如果您可以等待一段时间，则会分析根目录。