正如其他地方所述,当Google在启用Disqus的情况下抓取Wordpress网站时,Google会尝试将一些由Disqus动态生成的链接编入索引(这些链接不会出现在页面源中,因此我认为这些是基于Javascript的链接)
例如,Google网站管理员工具会尝试抓取下面的网址(A)并引发网页未找到错误,因为Disqus已修改了正确的网址(B):
(A)www.example.com/blog/2012/09/blog-post-title/2147423647/1346789815000
(B)www.example.com/blog/2012/09/blog-post-title /
Disqus创建的动态网址始终包含“2147423647”组件;这些数字不会改变。 “1346789815000”部分可能存在也可能不存在,并且数字会在页面之间发生变化。
我想使用mod-rewrite,以便尝试访问表单(A)的URL获得301重定向到(B),以便我停止获取爬网错误。
请指教。请注意,我是一个mod-rewrite noob所以任何和所有的帮助表示赞赏!提前谢谢。
答案 0 :(得分:0)
使用mod_rewrite,尝试:
RewriteEngine n
RewriteRule ^([0-9]{4})/([0-9]{2})/([^/]+)/[0-9]+ /$1/$2/$3/ [L,R=301]
确保这些规则高于处理SEO友好网址的任何规则。