所以我想在我的网站上获取广告。它已经审查了一段时间,所以我正在做一些挖掘可能是阻止机器人爬行的东西。我今天发现了这个,告诉我它是否意味着什么。
我点击了上图中右侧的robots.txt链接,它显示了以下内容:
那么:我做了一个机器人抓取所有谷歌机器人,并被允许在我的机器人文件。 实时文件:
在我网站的文件管理器中,上面的图片是我实际的robots.txt文件。因为我的机器人文件阻止了第二阶段的验证,我的广告无法验证吗?
答案 0 :(得分:0)
您的robots.txt只能阻止来自您主机的网址。
来自Google Search Console的消息是关于外部网址的。该外部主机的robots.txt会阻止对相关网址进行抓取。
你无能为力(除了自己托管外部脚本,但在所有情况下都不可能)。