允许Web蜘蛛访问Symfony中的受限页面

Question

如何允许访问Symfony中的受限页面到网络抓取工具？

我认为应该允许IP列表，但如何验证它们？