我的HTACCESS中有这个:
RewriteCond %{HTTP_USER_AGENT} (facebookexternalhit/1.1|Facebot|Twitterbot|Pinterest|Google.*snippet|/externalhit_uatext/)
RewriteRule /+(.*?)$ /api/getSocial.php?which=$1 [P]
在我的网站上使用facebook调试工具,我看到facebook正在获取网址而不被重写,这非常奇怪。这是网址:
http://lab.pre.rtve.es/carlos-v-ricardo/podcast/
¿任何想法为什么爬虫不遵循此重定向? ¿Facebook的用户代理名称是否已更改?
我可以在官方文档中读到这应该有效。
非常感谢。
答案 0 :(得分:1)
在https://developers.facebook.com/docs/sharing/webmasters/crawler中,还会写入抓取工具
facebookexternalhit / 1.1 (+ http://www.facebook.com/externalhit_uatext.php)
useragent,你不介绍它。