Phantom js对Crawlers(开放图,谷歌等)不起作用,但可以与CURL一起使用

时间:2013-10-17 15:32:02

标签: angularjs phantomjs

这是一个普遍的问题,因为我对PhatomJS完全不熟悉。 我正在使用Angular-seo

问题是爬虫似乎以某种方式获取了我的应用程序的404视图,而从浏览器或CURL访问带有_escaped_fragment_参数的链接可以得到所需的结果。

过去几天,我正在把头撞到墙上

1 个答案:

答案 0 :(得分:0)

通过以下提交解决了这个问题: https://github.com/BeOleg/angular-seo/commit/1369e2eb44cfd2bd0e91f74e3122702314c065b1

抓取工具正在转发网址,因为他们拦截了“!”在我的网址中标记