我正在将prerender.io与用于搜索引擎优化目的的角度节点应用程序集成为POC,我的应用程序驻留在HERE,好的部分是所有三个链接都被抓取所以我得到200测试的所有链接here,但我面临的问题是每个链接都没有捕获标题和元标记
我在标题标记中使用了{{}},类似于描述也会在加载的页面上反映出来,但在爬网程序抓取时则不会反映出来。您可以检查页面源代码,我尝试使用
window.prerenderReady
但仍然无法使其发挥作用,任何建议或如何实现这一目标?
答案 0 :(得分:0)
看起来它在这里工作正常:
http://testseonode-datahouse.rhcloud.com/?_escaped_fragment_=
因此,您使用的抓取工具似乎不会使用转义的片段抓取协议进行抓取。您必须在中间件中按用户代理匹配这些爬网程序。