Facebook爬虫的Cloudflare上的CIDR表示法

时间:2015-10-17 10:04:05

标签: facebook opengraph cloudflare cidr

我使用cloudflare作为CDN提供商,不幸的是,当我想有人想要从网站分享文章并且开放的图表没有获得时,我对Facebook抓取工具有疑问正确加载消息:

  

需要注意| cloudflare如果你是个人联系,   就像在家一样,你可以在你的设备上运行防病毒以确保它   没有感染恶意软件。

我很确定这是因为我在访问网站之前使用了cloudflare挑战段落。

我已经阅读了此线程(What's the IP address range of Facebook's Open Graph crawler?)上的一些IP建议,但cloudflare的问题是可接受的IP范围的CIDR表示法仅为/ 16和/ 24 即可。但是这个帖子上的IP列表表明:

31.13.24.0/21
31.13.64.0/18
66.220.144.0/20
69.63.176.0/20
69.171.224.0/19
74.119.76.0/22
103.4.96.0/22
173.252.64.0/18
204.15.20.0/22

我到目前为止所做的是在最后添加带有符号/ 24的IP列表,但仍然无效。

任何有类似经历的人都知道这项工作吗?

1 个答案:

答案 0 :(得分:1)

我终于能够通过为每个IP范围添加/ 16 CIDR概念来解决这个问题。示例:31.13.24.0/21 => 31.13.0.0/16。希望它可以帮助其他需要它的人。