Googlebot会对robots.txt阻止的网页上的链接编制索引吗？

Question

我的robots.txt：

User-agent: googlebot

disallow: /xxx/y.html

y.html有很多像＆＃34; /mmm/a.html"和＆＃34; /asd/b.html"。

我的问题是，谷歌索引＆＃34; /mmm/a.html"和＆＃34; /asd/b.html"？

这些链接仅位于＆＃34; /xxx/y.html"。

Answer 1

请注意，您的robots.txt在记录中不得包含换行符（即User-agent和Disallow之间的换行符），因此应该是：

User-agent: googlebot
Disallow: /xxx/y.html

此记录将禁止“googlebot”转换为抓取路径以/xxx/y.html开头的网址。因此它会阻止以下网址：

• http://example.com/xxx/y.html
• http://example.com/xxx/y.html.zip
• http://example.com/xxx/y.html5
• http://example.com/xxx/y.html/foo

这意味着“googlebot”永远不会访问这些网页。因此，如果您在其中一个页面上有链接，机器人将无法找到它。

但是，如果Google以不同的方式了解此类链接，则可能会访问该链接（除非也被robots.txt阻止）。例如，其他方式可以是使用向Google发送统计信息的工具（如Google工具栏，Google Analytics等），其他网页包含链接，在站点地图中显示链接，向Google提交链接等等...