我正在为具有许多不同网站属性的客户端进行SEO类型的工作 - 这些都不是我自己构建的。其中一个特别是，我正在链接here，似乎有问题被搜索引擎索引。有趣的是，我尝试了多个站点地图生成工具，他们似乎也有索引网站的问题;虽然该网站仅由几页和外部链接组成，但站点地图工具 - 我怀疑搜索引擎 - 只看到了主页本身，而不是其他任何内容。
在Google网站管理员工具中，我看到一些与home / index.html相关的抓取错误（404），但没有其他内容。此外，在谷歌分析中，超过80％的流量是直接的 - 即不是搜索流量 - 这似乎令人担忧。该网站已经存在了大约一个月，并且正在被各种来源推广。即使使用域名本身搜索Google也不会将主页放在结果中（！），更不用说任何相关的关键字了。
我的最终问题是代码中是否存在任何可能妨碍正确索引的明显问题。我注意到开发人员选择通过命名目录来构建导航，即链接到“home / index.html”，“team / index.html”，“about / index.html”等，当它看起来最合适时命名HTML文件本身，即“team.html”和“about.html”。这可能是问题的一部分吗？
感谢您的任何见解。
答案 0 :(得分：1)
这里有两个主要问题。
第一个问题是根http://www.raisetheriver.org/有一个元刷新，将页面重定向到http://www.raisetheriver.org/home/index.html
Google建议不要使用元刷新，如果要重定向页面，则应使用301重定向。但是我建议不要将根主页重定向到另一个页面，因为网站主页应该是根目录。
第二个问题是，网站上的所有网页都被阻止在Google中编入索引，因为他们在源代码中包含以下代码：<meta name="robots" content="noindex">，指示搜索引擎不对网页编制索引。
纠正这些问题，该网站将能够在Google中编入索引，站点地图生成器将能够抓取该网站。
答案 1 :(得分：0)
拥有页面的子目录对Web爬虫来说不是问题，因为即使像Amazon，Ebay等许多大型网站也有子目录对齐页面。
由于您的sitemap.xml或sitemap.html可能包含无效或损坏的链接并且已被编入索引，因此发生此错误。您可以使用此网站http://www.xml-sitemaps.com/生成站点地图，即使我使用此站点并且运行正常。
请手动检查您的cpanel中的所有目录和页面是否正常工作。如果发现任何无效链接，您可以修复它。