刮取远程URL以便为服务添加书签而不会被阻止

时间:2014-06-14 16:17:49

标签: javascript dom cross-domain

我使用服务器端node.js函数获取浏览器传递的URL文本,以自动索引书签服务中的URL。我使用jsdom进行服务器端渲染。但是,尽管请求来自合法用户,但我仍然无法访问热门网站。

有没有办法在浏览器端实现URL文本提取,这样请求似乎总是来自正常的用户分布?如何解决浏览器中的跨站点安全限制?我只需要最终的DOM渲染文本。

小书签是最佳解决方案吗?当用户想要为页面添加书签时,我只是在书签中附加一个表单并在我的书签中提交DOM呈现的文本?

我知道很讨厌辩论,但是对于好方法的任何指导都会非常感激。

1 个答案:

答案 0 :(得分:1)

你当然可以在客户端做到,但我认为这会过于复杂。客户端必须将html发送到您的服务&这将需要非常仔细的消毒和可能很难控制传入数据量。

我可能只是跟踪请求域并确保限制对任何单个域的调用频率。如果使用像Node.JS这样的东西,你可以很容易地设置任意数量的后台获取任务,这应该是相当直接的。这也可以让你微调所用的带宽。