Question

Google已将Hostgator的url登录cpanel托管编入索引。例如：mysite.com:2082

还使用www将我网站的5个页面编入索引。所以我的内容是重复的。

已编入索引，例如mysite.com/page1和www.mysite.com/page1

我已尝试删除网站站长工具，但始终在域名后添加斜杠（/）。

尝试发送mysite.com:2082删除时添加/，获取mysite.com/:2082

有人有这个问题吗？可以做任何事情来删除这些页面？感谢。

Answer 1

Google已将Hostgator的url登录cpanel托管编入索引。例如：mysite.com:2082

如果您在共享主机上，我认为您不能对此做任何事情。

cPanel使用robots.txt阻止抓取这些网页。不幸的是，这仍然会导致Google SERP中仅限链接的条目，其描述如下：

由于此网站的robots.txt而无法获得此结果的说明 - 了解详情。

要阻止对这些网页编制索引，他们需要noindex漫游器元标记或类似的noindex X-Robots-Tag HTTP响应标头。并删除robots.txt中的Disallow指令（可防止对网页进行爬网）。据我所知，cPanel页面没有返回合适的机器人元标记。

这个问题已经discussed in the cPanel forums（几年前！）和“修复”据说已经发布，但是，我发现这种行为没有任何变化。

老实说，使用robots.txt阻止抓取这些页面可以说是最有效的方法，因为它只是阻止（好）机器人请求页面，从而减少（只是一点点）负载服务器。要从Google索引中屏蔽这些网页，您需要允许抓取网页，以便检测机器人元标记（目前不存在）。抓一点22。

如果您在考虑安全性方面，那么阻止这些页面被编入索引并没有多大帮助。充其量只是默默无闻的安全。通过请求标准URL example.com:2082可以轻松找到cPanel登录页面。

还使用www索引我网站的5页。所以我的内容是重复的。

您可以在Google网站站长工具中为www或不 - www设置偏好设置。或者你可以在.htaccess中将一个重定向到另一个。您首选的URL取决于您。例如，要从非www重定向到www ...

RewriteEngine On
RewriteCond %{HTTP_HOST} !^www\. [NC]
RewriteRule (.*) http://www.%{HTTP_HOST}/$1 [R=301,L]

虽然说实话，Google无论如何都能很好地解决这个问题（这很常见）。没有重复的内容“惩罚”，只是如果你没有指定一个偏好，那么任何一个都可以被编入索引。