LinkedIn抓取工具可以读取SPA页面吗?

时间:2013-10-20 09:56:46

标签: angularjs seo web-crawler linkedin phantomjs

我正在使用PhantomJS和Angular-seo package

我设法将其配置为与Facebook开放图一起使用,但似乎LinkedIn不支持_escaped_fragment_格式,并且只是在hasbang请求index.html页面之后忽略该路由应用程序而不是myapp.com/?_escaped_fragment_=client_side_path

我可以做些什么来解决它?。

2 个答案:

答案 0 :(得分:1)

不幸的是,解决此问题的唯一方法是检查机器人的用户代理并向他们发送静态版本。根据{{​​3}},LinkedIn机器人的用户代理是:

LinkedInBot/1.0 (compatible; Mozilla/5.0; Jakarta Commons-HttpClient/3.1 +http://www.linkedin.com)

答案 1 :(得分:1)

LinkedIn 不会呈现 JS,并且只会处理您的 SPA 的 html 静态内容。

由于您的应用程序是高度动态的,您可以将 LinkedIn 爬虫请求重定向到一个端点,该端点将为 LinkedIn 爬虫动态生成所需的 HTML(例如快速获胜:通过使用具有规则引擎和无服务器功能的 CDN)

如果您不需要向爬虫提供实时信息,您可以考虑使用:

  • 预渲染服务(例如 prerender.io)
  • 一个静态站点生成器,用于自行创建 SPA 的预渲染页面