有没有一种方法可以根据客户端(网络抓取者还是网络应用程序客户端)的客户来呈现不同的页面?

时间:2019-03-27 12:41:53

标签: node.js http express ssr

我正在设置支持ssr的网页,这是我的问题,我可以知道客户端是否是网络爬虫,以便我可以进行ssr吗?

通过这种方式,我将向非网络抓取工具的客户提供我的网页

我已经看到您可以使用验证google-bot-crawler https://stackoverflow.com/a/3308728/8991228

但是有一般的方法吗?

1 个答案:

答案 0 :(得分:1)

有一个标题:User-Agent,通常在他的帮助下,您可以识别它是浏览器还是机器人,但是...

伪造此标头的难度为0。

因此,使用了其他验证方法,例如如您所显示的,Google。

但是... 并非所有的机器人都显示为机器人。例如,Google倾向于检查是否有其他内容正在发送到漫游器。

总之:如果您知道该机器人已接受它(例如,用于Facebook链接共享程序),则可以这样做