这可能不是这个问题的最佳标题。
所以我在我的服务器上运行了一个nodejs应用程序,它目前使用python脚本进行网页抓取,但我正在考虑将此移动到客户端,因为个别客户端看到同一网站的不同版本(可能是唯一的)
我是一个理想的世界我想使用javascript从页面获取html响应(通过右键单击并选择视图源我可以在chrome中看到)然后在javascript中处理。
然而,根据我在网上看到的内容,这似乎不太可能。我知道提供响应的网站(例如anyorigin.com)可以被删除。然而,这些并不适合我,因为我需要能够抓住用户看到的内容,因为每个用户都可能在我想要抓取的网站上看到不同的东西。我目前使用的python脚本会这样做,但它需要用户安装python才能让我执行它,这是无法保证的。
为文本块道歉。
这个问题有解决办法吗?
答案 0 :(得分:1)
经过一些研究和收到的建议后,我使用Chrome开发者网站上的简单指南创建了一个chrome扩展程序,并使用CORSrequest获取我需要的内容。
如果有人发现此问题并希望得到帮助,我很乐意提供进一步的详细信息/帮助:)
答案 1 :(得分:0)
我最近试图做一些非常相似的事情,不幸的是,据我所知,在客户端没有办法做到这一点。你可能会做一些诡计而且"发布"您需要的数据支持您处理它的服务器,但我不认为这将是非常有效或直接的。
虽然如果你找到了什么,请分享。