如何监控网站以查找特定标签内的更改?

时间:2013-01-31 06:51:44

标签: web-scraping

我将准确解释我想要做的事情,也许有人可以告诉我一个简单的方法,我可以做到。

我想跟踪Kickstarter项目页面上承诺的金额。质押金额始终保持在特定标签内。我可以通过编程方式完成这些工作的所有方法是什么?

我刚刚开始学习如何在网上开发,所以这应该是一个很好的背景,让你更好地帮助我。 (我已经学习了C,Python,VB,JS,HTML / CSS的部分和基础)

使用免费工具是否有简单的黑客方法?我怎么能独自完成这一切?进一步扩展这个想法,当金额超过预定义的阈值时,我如何通知我的Android设备?这个过程被称为刮刮吗?我需要什么工具来完成这项工作?我需要使用哪种语言?我需要自己的网络空间吗?

如果我最终将这个概念变成了一个Android应用程序,有没有办法只加载一小部分网站(甚至可能只是足够的源来获取我正在寻找的标签)以便我可以获取数据我想在页面上,但不必浪费一大堆我的智能手机数据加载其他我不想要的东西?

感谢您提供任何帮助!

1 个答案:

答案 0 :(得分:0)

我不熟悉Kickstarter的API - do they have one? - 但这是我如何解决这个问题:

  1. 您想定期“ping”Kickstarter以获取信息。在Android上执行此操作的一种方法是使用BuzzBox SDK

  2. 每次执行后台任务:

    • Load Kickstarter页面的一部分,其中包含jQuery到您自己的HTML文档中。
    • 将其与阈值和可能的先前存储值进行比较。应该可以使用基本的<=,除非你想通过解析和填充来保持肛门。
    • 使用Android中的notification在金额更新后通知用户。
  3. 将所有这些包装到应用中。