Question

我有一个纯粹的基于GWT的网站，因为我们知道搜索引擎无法索引基于纯gwt的网站。因此，我创建了一个如下所示的备用网页，它作为单独的html存储在war文件夹中。此网页的目的是征集和索引有关我网站的详细信息。此页面永远不会显示在我的网站上，而只是用于索引。通向此网页的网址是Sitemaps.xml的一部分。因此，我假设下面的html将被编入索引，因为它是Sitemaps的一部分。所以这是我的问题：

我在ID为“crawler”的div中给出的内容是否会被编入索引，因为它计划删除onload并且浏览器会在加载时被重定向到另一个URL？
有没有更好的方法来为没有任何基于HTML的用户界面的纯GWT网站索引内容？
我也可以使用urls来调用servlet并返回一个用于索引的响应。但是，相同的网址将显示在搜索结果中，这没有用。换句话说，我试图弄清楚内容被编入索引的方式，但是当用户点击搜索结果时，他应该被重定向到主页而不是显示索引内容。

<head>
    <script>
        function load(){
            element = document.getElementById("crawler");
            element.parentNode.removeChild(element);
            window.location.href='http://<mysite>.com';
        }
    </script>
</head>
<body onLoad='load()'>
    <div id="crawler">
                  <CONTENT TO BE INDEXED>......
            </div>
    </body>

正如您在此处所看到的，包含所有用于建立索引的内容的div（crawler）会在主体加载后立即删除。除此之外，页面还会在加载时重定向到网站的主页。

Answer 1

向搜索引擎通知不可发现的网站内容的最佳解决方案是创建HTML网站（就像您一样）。如果您基于抓取工具创建重定向，搜索引擎将不会爱你。我认为您必须使用相关信息填写HTML并添加

<link rel="canonical" href="https://gwtsite.com/exact_url"/>

标记到您网站的主管部分。这将通知搜索引擎其他站点必须出现在SERP-s而不是HTML中。

Answer 2

抓取工具将读取页面的全部内容以进行索引，因此在div中获取部分时可以轻松完成。在阅读页面之前，爬虫不会执行onload。

我过去使用的一种方法是生成页面的静态html版本，并通过sitemap.xml引用它们。登陆html页面的用户在点击链接（即：购买或规格）时将被定向到等效的动态页面。这适用于搜索引擎放置，其中许多页面出现在前十名中。

索引重定向onload的HTML页面

2 个答案: