如果需要用户名和密码,谷歌如何抓取我的网站页面

时间:2013-10-25 13:43:44

标签: web-crawler fetch

您好我正在使用 Google的网站管理员工具中提供的抓取Google 选项,但是当我获取某个页面时,我将光标放在提交的结果上,它会显示我的登录页面而不是我提交的页面。所以我想知道Google是否存在抓取受密码保护的网站的问题,还有任何选项可以将一些抓取脚本附加到我的网页,就像我正在使用 Google Analytics 一样。

1 个答案:

答案 0 :(得分:0)

刚有一位客户希望我解决同样的问题。

我相信这正是您所寻找的:https://www.google.com/adsense/app#sitepermissions

在这里,您可以为谷歌的抓取工具提供用户名和密码(如果需要,还可以提供更多信息)。