如何识别页面请求是否用于预览

时间:2018-05-25 14:22:45

标签: http web

当我在社交网络(例如Facebook或Twitter)粘贴我的网站链接时,社交网络访问我的网站以向用户显示预览。

我想在我的报告中将此访问与实际访问分开,但为此,我需要确定此情况。

这种访问会发送任何类型的默认情况下的信息,我可以确定此访问权限不是真正的用户,而是机器人?

2 个答案:

答案 0 :(得分:7)

您应该能够从用户代理字符串中识别这些机器人。 例如,Twitter使用User-Agent of Twitterbot。并且记录了Facebook爬虫识别here

答案 1 :(得分:2)