每日交易网站聚合器

时间:2011-01-18 11:39:27

标签: aggregate

最近我遇到了一些网站(例如http://dealery.com),这些网站为团购优惠券提供一站式购物服务。我想知道这些网站如何从各种日常交易网站获得交易信息。我相信他们没有使用任何API。因为并非所有日常交易网站都提供API。

他们正在进行屏幕抓取吗?或者他们是否使用RSS提要来构建自己的数据库? 如果有人知道解决方案,请分享。我非常感谢。

感谢。

3 个答案:

答案 0 :(得分:1)

我知道这有点旧,但我想我会花时间在这里回答你的问题。正如Logan指出的那样,像Agriya开发的交易聚合脚本以三种方式从日常交易网站中删除数据:

  1. 它从可用的RSS提要中解析数据
  2. 它从诸如Commission Junction
  3. 之类的联盟网络提供的XML提要中解析数据
  4. 它使用正则表达式从交易网站的HTML页面中解析所需的数据
  5. 选项1和2相当容易实现,但选项3要求您非常擅长格式化正则表达式。你还有一个令人头疼的问题,即如果交易网站对他们的HTML代码做了一些改动,那么正则表达式需要重做。

答案 1 :(得分:0)

我们经营着澳大利亚最大的交易聚合商。我们使用以下方法来获取数据;

  • 从网站XML Feed(首选)
  • 解析数据
  • 从网站RSS feed
  • 解析数据
  • 自定义屏幕抓取

正如彼得所提到的,当网站更改代码时,屏幕抓取可能会有点痛苦,但这种情况不会经常发生。可能必须每月更新1个或2个站点,我们列出的100个左右。

答案 2 :(得分:0)

Dealery可能会使用RSS提要或API,因为我看到他们聚集的网站实际上提供了RSS提要和API。

其他网站:

可能会进行屏幕抓取,因为我无法找到他们聚合的某些网站的RSS Feed或API。