这标记为偏离主题,但如果其他人有同样的问题,则会留在Stack Overflow上。
这可能超出了范围,但我很想知道你是否可以抓一个Angular JS网站?
如果可以,有人可以指点我一些好的资源吗?我做了一些R& D但除了Phantom JS之外找不到任何有用的资源
答案 0 :(得分:3)
这个问题最简单的答案是肯定的,但这是可能的,但是不能使用仅仅查看他们在HTTP响应体中获得的原始文本内容而不是真正解释典型浏览器运行的传统机器人JavaScript会看到。谷歌做到了(截至2014年5月): http://googlewebmastercentral.blogspot.com/2014/05/understanding-web-pages-better.html
如果你有一个机器人解析javascript并允许正常的http xhr请求出去并获得填充SPA的实际数据,你可以刮掉一个Angular站点。