谷歌是否比public_html更进一步

Question

我们有一个VPS并使用WHM / cPanel访问，我们想了解以下内容：

Googles抓取工具是否会查看/抓取子域名，即使它们不是指向子域名 public_html（反之亦然）在Google Webmastertools中没有提及？

注意：我们已通过.htaccess和robots.txt采取预防措施并使用<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">但仍在谷歌网站管理员后端找到了一些 我们不明白。
（我们有一个test.ourdomain.com用于开发新的“东西”等等，因此我的问题）

Answer 1

1. 删除已屏蔽网页中的外部网址。如果有任何真正的网址，蜘蛛有时会抓取页面。
2. 阻止私有URL出现的最简单，最有效的方法是将它们存储在站点服务器上受密码保护的目录中。 Googlebot和所有其他网络抓取工具无法访问受密码保护的目录中的内容。

了解更多信息https://support.google.com/webmasters/answer/93708