标签： web-crawler googlebot
我正在分析GoogleBot请求抓取的每周一周的页面。我可以看到GoogleBot在一天内要求同一页面超过1500次。这个页面是我的登录页面，它基本上存在于我网站的所有页面上，作为网站模板的一部分。
我担心这种重复爬行的带宽浪费。 我还有其他网址，这些网址也会在每个页面上再次出现，并且每周都会被抓取超过300次。我已经确认它是一个真正的GoogleBot。 这种行为是否正常？ 这与许多其他页面上页面的存在有关吗？