我正在设置支持ssr的网页,这是我的问题,我可以知道客户端是否是网络爬虫,以便我可以进行ssr吗?
通过这种方式,我将向非网络抓取工具的客户提供我的网页
我已经看到您可以使用验证google-bot-crawler https://stackoverflow.com/a/3308728/8991228
但是有一般的方法吗?
答案 0 :(得分:1)
有一个标题:User-Agent
,通常在他的帮助下,您可以识别它是浏览器还是机器人,但是...
伪造此标头的难度为0。
因此,使用了其他验证方法,例如如您所显示的,Google。
但是... 并非所有的机器人都显示为机器人。例如,Google倾向于检查是否有其他内容正在发送到漫游器。
总之:如果您知道该机器人已接受它(例如,用于Facebook链接共享程序),则可以这样做