robot.txt让Google停止索引我的网站？

Question

这是我的机器人：

User-agent: *

Disallow: /feed/
Disallow: /trackback/
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /xmlrpc.php
Disallow: /wp-

Sitemap: http://chineselearnonline.com/sitemap.xml

奇怪，我是从博客那里拿走的。但我注意到它让谷歌停止索引我的WordPress网站。

那里有什么问题？

Answer 1

正如所指出的那样，您需要重定向，但对于robots.txt，您错过了robots.txt中的allow行：

User-agent: *
Allow: /

Disallow: /feed/
Disallow: /trackback/
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /xmlrpc.php

这一行毫无意义Disallow: /wp-，所以删除它。

Answer 2

听起来，当您将网站移动到其他服务器时，您可能无意中更改了用于访问您网站的基本网址。例如，您提到您的网站过去曾在http://chineselearnonline.com/v4访问，现在它位于http://chineselearnonline.com/，没有v4。

考虑到网站主题，其他人可能通过博客或其他形式的共享链接到您。如果搜索引擎试图遍历您的链接并发现它们已被破坏，那么您在搜索引擎中的排名将会降低。

请注意，这与更改实际服务器上的代码位置不同，只是指向该文件夹的URL。

要解决此问题，您可以编辑htaccess文件以添加规则301将所有/ v4链接重定向到新的基本URL，以便任何用户或搜索引擎实体自动重定向到有效的网址。这也告诉搜索引擎您的内容已永久移动到新位置。

如果您的链接在Google中消失，建立301重定向可以修复互联网上任何损坏的链接，并防止每个人需要在他们的博客和网站中物理更新链接。这应该有助于建立你的SEO备份。