从刮板编写Web应用程序的注意事项

时间:2012-05-30 07:40:07

标签: ruby screen-scraping

我目前正在尝试编写一个小型应用程序,该应用程序基本上会偏离其他网站(我学校的成绩门户网站)的信息,基本上是为了使其他网站上的内容更有用。我现在用Ruby和Mechanize编写了一个概念验证。

但是,我试图找出从这里开始的地方。运行概念验证需要时间,有时需要一分钟才能完成登录。我不怀疑因为网站的编写方式我可以更快地完成它(它太旧了。

在尝试将这种概念验证变成一个成熟的应用程序时,我应该关注什么?

1 个答案:

答案 0 :(得分:0)

当你在刮痧时,你基本上是在另一个孩子的家里玩耍。他们可以(而且会)在闲暇时改变一切。您将需要进行大量的错误检查。我建议您在发布数据之前将数据删除并保存到暂存环境中,并确保您的用户知道在网站更改后您疯狂地尝试恢复抓取例程时,他们可能会间歇性地延迟获取数据。