Question

我的网站出现严重问题。它已推出3个月，但谷歌从未正确索引我的网站页面。

直到上周，我的网站上有超过7k页面，但谷歌在3个月内几乎没有抓取300页。但是从上一周开始，谷歌完全停止索引我的页面，现在总共只有87页索引。我没有使用任何黑帽SEO技术，我甚至在网站管理员中获取任何消息以进行手动操作。

还有一个观察结果，谷歌正在为大多数页面提供以下消息，这些页面甚至可以按照机器人文件进行抓取（我使用网站管理员robots.txt检查它）。

“由于此网站的robots.txt，因此无法获得此结果的说明 - 了解详情。”

以下是机器人文件，有人可以帮我确认一下是否有任何问题..

# See http://www.robotstxt.org/wc/norobots.html for documentation on how to use the robots.txt file
#User-agent: NinjaBot
#Allow: /

Sitemap: http://socktail.com/sitemap.xml
User-agent: *
Disallow: /giftcard/
Disallow: /fancybox/
Disallow: /notify/
Disallow: /cms/
Disallow: /feed/
Disallow: /landing/
Disallow: /checkout/
Disallow: /user_settings/
Disallow: /product/
Disallow: /search*/
Disallow: /cart/
Disallow: /order/
Disallow: /shop/
Disallow: /colorsby/
Disallow: /settings/
Disallow: /admin/
Disallow: /fancybox
Disallow: /pages/sellers-service-agreement
Disallow: /login*
Disallow: /signup*
Disallow: /shopby/shop‎/
Disallow: /shopby/all/‎*
Disallow: /giftguide/list/
Disallow: /colorsby/
Disallow: /shopby/shopby/
Disallow: /shopby/things/
Disallow: /shopby/giftguide/
Disallow: /shopby/login*
Disallow: /shop$
Disallow: /user/*/lists
Disallow: /user/*/lists/
Disallow: /user/*/wants
Disallow: /user/*/wants/
Disallow: /user/*/owns
Disallow: /user/*/owns/
Disallow: /user/*/following
Disallow: /user/*/following/
Disallow: /user/*/followers
Disallow: /user/*/followers/
Disallow: /user/*/settings
Disallow: /user/*/settings/
Disallow: /user/send_noty_mails/
Disallow: /*?
Disallow: /bookmarklet/
Disallow: /socktail.com
Disallow: /www.mudradecor.com
Disallow: /site/
Disallow: /settings
Disallow: /login#sidebar
Disallow: /login#navigation
Disallow: /login#header
Disallow: /login#content
Disallow: /lang
Disallow: /gifts
Disallow: /uploaded/
Disallow: /pages/about
Disallow: /pages/fancy-for-business
Disallow: /www.dumysite.com

Answer 1

Robots.txt只是对访问您网站的漫游器的推荐，例如Googles搜索机器人以及其他人。这只是一个建议，一些搜索引擎机器人不遵循它。

仔细检查robots.txt文件会显示您网站上的许多子文件夹已被禁止。这显然是不好的，因为谷歌一个好的搜索引擎会听你的规则，不会索引这些页面。

此链接包含一些信息，但可能很复杂。 Moz robots txt information

robots.txt生成器的这个链接可以帮助您创建更好的一个： Robots.txt generator

注意......您需要禁止的唯一内容是您不希望编制索引的页面，例如管理员和私人页面。如果你有一个estore，那么一些部分可能需要保密。

从那里我建议ping你的网站。在Google上搜索ping网站，应该找到几个选项。这将有助于机器人访问您的网站，并查看robots.txt文件中的更改，一切都应该正常。

Answer 2

https://www.google.com/search?hl=en&safe=off&q=site%3Asocktail.com&btnG=Search - ＆gt; （约11,600项结果）？

你的robots.txt似乎没问题。

但有点慢，请尝试http://www.webpagetest.org

谷歌没有索引我的网站

2 个答案: