我已经为抓取网络内容数据配置了网址。所有的网络数据都在我的GSA中成功抓取，但我得到了＆＃34; 排除：机器人没有索引＆＃34;一个URL的索引诊断中的消息和该URL中的文档未在GSA中编制索引。
文件不包含任何[ META NAME =＆＃34; ROBOTS＆＃34;内容=＆＃34; NOINDEX，NOFOLLOW＆＃34; ] metatag。
你有没有在GSA中观察到这种行为？答案 0 :(得分：0)
检查相关robots.txt的内容，如果它不在实际页面中作为元数据，则会有规则。
答案 1 :(得分：0)
签入开始和阻止网址＆gt;不遵循GSA配置中的模式。它可能被排除在那里。
答案 2 :(得分：0)
我也有这个问题。我首先通过使用在线robots.txt测试人员验证我的网址没有被排除在索引之外。然后，我在GSA上的“开始和阻止URL”中测试了我的链接，以确保它与任何块过滤器都不匹配。
一旦消除了这些可能性，我就去了索引 - ＆gt;诊断 - ＆gt;索引诊断，并选择适用的集合。从那里开始，一旦我钻到并点击了文件名，就会出现一个带有“重新抓取此网址”按钮的屏幕。单击此按钮可以解决我的问题。