<meta name =“fragment”content =“!”/> url mapping - 如何防止索引但允许抓取?

时间:2015-11-09 13:03:35

标签: html angularjs seo

我正致力于使我的角度js网站可以被搜索机器人读取。我的解决方案是提供我想要使其可读的页面的静态版本,指示机器人请求&#39; / page?_escaped_fragment _ =&#39;对于&#39; / page&#39;的内容通过元名=&#34;片段&#34;含量=&#34;!&#34;&#39;标签。然后,我的服务器将此请求重新路由到&#39; page / searchbot&#39;它为机器人提供了静态版本的页面。

问题是我不想要&#39; page / searchbot&#39;要编入索引,但显然我希望它被抓取。我已经查看了&#34; noindex&#34;的规范。机器人标签的价值,并且无法找到任何明确说明是否将此无索引值添加到&#39; / page / searchbot&#39;将阻止我想索引的页面(&#39; / page&#39;)被编入索引。

我的问题是:如果我添加&#34; noindex&#34;标记为&#39; page / searchbot&#39;,机器人仍会抓取内容,并将其作为&#39; / page&#39;的内容提供,正确索引&#39; / page&#39;,同时忽略&#39; page / searchbot&#39;?

感谢,

0 个答案:

没有答案