自动化Web任务?

时间:2013-12-23 18:25:10

标签: python selenium automation web-scraping capybara

我在chess.com上玩,我想下载我的游戏历史。不幸的是,它们并不容易:我可以一次访问100个50个游戏,单击“全选”和“下载”,然后通过电子邮件发送给我。

有没有办法用python或其他语言编写脚本,这有助于我自动化流程的任何部分?模拟点击链接的东西? Capybara在单元测试之外对于这样的事情有用吗?硒

我还没有太多的网络开发经验。谢谢你的帮助!

3 个答案:

答案 0 :(得分:1)

您可以查看CasperJS。我使用Python来激活CasperJS脚本来进行Web抓取并将数据返回到Python以进一步解析或存储到数据库等...

Python本身有BeautifulSoup和Mechanize,但基于Ajax的网站组合并不好。

Python和CasperJS非常完美。

答案 1 :(得分:0)

如果你想做这样的事情,Selenium可能是一个很好的候选人。

这里有一些伪代码:

foreach page_link in page_links:
  page_link.click()
  select_all.click()
  download_link.click()

答案 2 :(得分:0)

看看Helium。使用这个Python库实现你需要做的事情应该相对容易:

start_chrome("chess.com")
...
click("Select All")
click("Download")
...