Question

我们在过去一周左右的时间内运营了一个URL缩短器，我们已经开始从Facebook拥有的IP和用户代理{normal url}/no_facebook_preview_picture.jpg

开始看到facebookexternalhit/1.0 (+http://www.facebook.com/externalhit_uatext.php)的许多奇怪请求

如果我在我的墙上发布了我们网站的正常链接（设置为Only Me，那么我可以测试）我在访问日志中收到以下条目

66.220.152.6 - - [05/Feb/2013:16:31:36 +0000] "GET /44_U HTTP/1.1" 200 1314 "-" "facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)" "-"

但是，如果我发布一条返回404或410的链接（创建后删除了垃圾链接），我会得到这个

69.171.237.15 - - [05/Feb/2013:16:49:16 +0000] "GET /notexistURL HTTP/1.1" 404 1319 "-" "facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)" "-"

然后在一个小时左右

173.252.110.113 - - [05/Feb/2013:17:15:15 +0000] "GET /notexistURL/no_facebook_preview_picture.jpg HTTP/1.1" 404 0 "-" "facebookexternalhit/1.0 (+http://www.facebook.com/externalhit_uatext.php)" "-"

该IP报告的WhoIs

NetName FACEBOOK-INC
NetHandle   NET-173-252-64-0-1

所以他们肯定是Facebook的IP。

我们每天都会收到大约10-20个这样的请求，都是相同的。我们只能获得7天的日志文件，但这些请求发生在7天前。

我测试了唯一的链接，因此没有其他方法可以找到该链接。我没有亲自使用Facebook，除了我的测试链接之外的所有链接都是由其他用户创建/发布的，但我认识到链接到我的Facebook帐户的所有应用程序并没有什么异常，所以我不认为这是第三方app（如果需要，我可以提供一个列表，但它们都是大牌应用程序）

在我检查日志文件期间，Facebook似乎甚至没有智能地创建这些请求，它只是盲目地将字符串/no_facebook_preview_picture.jpg放在URL的末尾，即使使用查询字符串也是如此。例如;

69.171.228.114 - - [05/Feb/2013:17:19:13 +0000] "GET /iAmNotARealURL1234777?ref=fb&cows_go=moo HTTP/1.1" 404 1118 "-" "facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)" "-"
69.171.228.114 - - [05/Feb/2013:17:19:13 +0000] "GET /iamnotarealurl1234777 HTTP/1.1" 404 1118 "-" "facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)" "-"
173.252.103.4 - - [05/Feb/2013:17:44:41 +0000] "GET /iAmNotARealURL1234777?ref=fb&cows_go=moo/no_facebook_preview_picture.jpg HTTP/1.1" 404 1118 "-" "facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)" "-"

Google似乎显示了大量随机结果，主要来自链接发起人，但我找不到任何有关这些请求的信息。

这些要求是什么？ Facebook需要什么？这是我们的应用程序中的错误还是可以安全地忽略这些请求？

更新

有些日子，我们现在对这些网址的点击次数达到2-3次

[sr@ns309372 nginx]$ for DAYLOG in `find ./ | grep "dftbashort.log-"`; do COUNT=`cat $DAYLOG | grep no_facebook_preview_picture | wc -l`; echo "${DAYLOG} has ${COUNT} occurences"; done
./dftbashort.log-20130201 has 0 occurences
./dftbashort.log-20130130 has 2 occurences
./dftbashort.log-20130129 has 2 occurences
./dftbashort.log-20130128 has 2 occurences
./dftbashort.log-20130202 has 378 occurences
./dftbashort.log-20130207 has 222 occurences
./dftbashort.log-20130205 has 257 occurences
./dftbashort.log-20130209 has 178 occurences
./dftbashort.log-20130131 has 2 occurences
./dftbashort.log-20130203 has 266 occurences
./dftbashort.log-20130206 has 667 occurences
./dftbashort.log-20130204 has 12 occurences
./dftbashort.log-20130127 has 4 occurences
./dftbashort.log-20130208 has 260 occurences

我们不提供任何开放图元标记，并且该网页没有元/ javascript重定向以外的内容。

Answer 1

我很确定这是共享刮刀试图建立您的网址预览，通过Facebook's Debug Tool运行网址，您将看到Facebook看到/正在寻找什么

我不确定/notexistURL/no_facebook_preview_picture.jpg请求是什么，假设您的代码中没有任何指向此类URL的内容; 如果我不得不猜测，当没有元标记时，我会说这是某种默认或后备;可能是一个错误 - 我非常有信心，如果你为Facebook包含正确的meta标签它会抓住那些并且不会发出无效请求，并且在Facebook.com和其他支持的网站上你的网站份额看起来更好相同的标签

Answer 2

今天早上我遇到了同样的事情并做了一些挖掘。您可以使用this site上的信息来指导您找到正确的方向。似乎帮助我的网站被这些错误杀死了。

Facebook在404链接上请求{url} /no_facebook_preview_picture.jpg

2 个答案: