我需要在我的网站中实现Facebook社交插件,主要基于html和php。我有一个登录系统,所以为了做到这一点,我必须将Facebook Crawler列入白名单,以便它可以刮掉我的网站。在文档中声明我需要将以下用户代理字符串列入白名单:
facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)
facebookexternalhit/1.1
或者运行以下命令产生的ip地址,这些地址是爬虫使用的地址:
whois -h whois.radb.net -- '-i origin AS32934' | grep ^route
对于如何将某些内容列入白名单我一无所知,是否必须在我的.htaccess文档中完成?还是必须在我的PHP脚本上完成?还是我的服务器系统? 另外,我在哪里运行上面的命令来获取IP地址?
我提前感谢你。