使用R,Python或C反复从网站收集数据

时间:2017-06-20 09:10:38

标签: web-crawler

我不确定这个问题是否适合这个网站,因为我对此完全陌生。但无论如何我会问。顺便说一句,通常我使用R. Python和C也是可管理的。

情况就是这样,我需要反复从网站下载数据。每次执行以下步骤:

  1. 为该网站上的单元格输入日期。
  2. 如果没有发生错误,请单击该网站上的按钮以生成所需数据。然后单击另一个按钮将数据保存在电子表格中。
  3. 如果确实发生错误,通常该日期不是交易日期,则选择下一个日期,直到没有错误发生。
  4. 我需要在过去3年的所有交易日内这样做。请问有办法吗?有关此类问题的任何动手参考?感谢。

1 个答案:

答案 0 :(得分:1)

用哪种语言?

我在python中使用pyGhost做了类似的事情,但是有点儿马车......

Selenium还允许您制作脚本或程序以自动执行“测试”,您可以使用它来实现目标。它适用于多种语言,我会选择它...

https://wiki.saucelabs.com/display/DOCS/Example+Selenium+Scripts+for+Automated+Website+Tests

https://www.mkyong.com/selenium/how-to-execute-javascript-in-selenium-webdriver/

可能是一个很好的起点。