如何从不提供宁静服务的网站中提取数据?

时间:2014-02-27 23:18:45

标签: javascript ruby-on-rails node.js web web-scraping

它也包括登录网站。 尝试从站点获取数据,显示某些客户端数据的分析。如果我的应用已显示此数据,我需要:

  1. 登录该网站。
  2. 转到网址
  3. 从网址页面获取数据。
  4. 实现它的方法有哪些?是网络报废可以做什么?

2 个答案:

答案 0 :(得分:1)

是的,你会使用抓取来做到这一点。你的关键字中有node.js。如果您计划使用Node.js,那么您应该查看Phantom.js

答案 1 :(得分:1)

是的,抓取可以解决这个问题。如果您正在使用Ruby,那么请查看Nokogiri之类的内容进行解析,然后从各个页面的HTML中删除内容。