从JavaScript处理的链接中加载数据(使用脚本)

时间:2018-06-19 21:08:43

标签: node.js parsing web-scraping blob export-to-csv

我想使用脚本从this page下载数据

页面上有一个用于将数据导出到CSV文件的按钮- 将数据筛选器导出到CSV文件 ,但是它没有可供我使用的链接由于单击此按钮时,JavaScript函数会处理该按钮的下载。

在输出中,我得到以下链接,文件blob: https: //www.tradingview.com/1e82c571-fbf7-4cd0-9a4c-8c836263e17

告诉我如何实现从脚本中下载文件的功能,例如写在 NodeJS 上的脚本。不要等到至少在可以看到...的地方完成代码。

谢谢大家!

1 个答案:

答案 0 :(得分:0)

您可以采用多种方法。

  1. 找到获取数据的另一种方法。他们可能有直接下载的URL或您可以调用的API。屏幕抓取是一种获取数据的黑客手段,可能违反了其网站的许可协议。

  2. 由于下载按钮基于JavaScript,因此您可以使用真正的浏览器打开页面,然后单击该按钮。 phantom node wrapper是将节点脚本与PhantomJS进行连接并使之自动化的一种方式。

  3. 可能最简单的方法是使用开发人员工具对单击按钮所做的事情进行反向工程,然后在节点代码中执行相同的步骤。例如,您可以查看“网络”标签以查看发出了哪些请求,然后重复这些相同的请求。