阻止googlebot将同一主机帐户上的其他域编入索引

Question

我有一个托管帐户，用于托管3个网站。 所有3个网站都是相互独立的。

托管帐户链接到主域.lets称之为www.maindomain.com，此网站的文件位于托管的根目录。

其他两个域www.domainA.com和www.domainB.com分别链接到子文件夹domainA和domainB。

google在maindomain.com的搜索结果中显示www.maindomain.com/domainA和www.maindomain.com/domainB，即使domainA和domainB与该网站无关，除非它们托管在同一主机帐户中

如何在抓取maindomain.com时阻止googlebot索引domainA和domainB子文件夹。 我可以使用robots.txt并阻止子文件夹抓取（但它会阻止谷歌将www.domainA和www.domainB索引为单独的实体吗？）

Answer 1

假设使用相应的子文件夹作为文档根设置domainA和domainB，您可以在主域中定义robots.txt

serialize

仅排除Googlebot并允许所有其他人

User-agent: *
Disallow: /domainA/
Disallow: /domainB/

但请注意，域名似乎没有像User-agent: googlebot Disallow: /domainA/ Disallow: /domainB/ 这样的完整网址链接，而是http://domaina.com/some/path。

您可以通过使用完全限定的网址替换/domainA/some/path来阻止抓取。