最近我遇到了一些网站(例如http://dealery.com),这些网站为团购优惠券提供一站式购物服务。我想知道这些网站如何从各种日常交易网站获得交易信息。我相信他们没有使用任何API。因为并非所有日常交易网站都提供API。
他们正在进行屏幕抓取吗?或者他们是否使用RSS提要来构建自己的数据库? 如果有人知道解决方案,请分享。我非常感谢。
感谢。
答案 0 :(得分:1)
我知道这有点旧,但我想我会花时间在这里回答你的问题。正如Logan指出的那样,像Agriya开发的交易聚合脚本以三种方式从日常交易网站中删除数据:
选项1和2相当容易实现,但选项3要求您非常擅长格式化正则表达式。你还有一个令人头疼的问题,即如果交易网站对他们的HTML代码做了一些改动,那么正则表达式需要重做。
答案 1 :(得分:0)
我们经营着澳大利亚最大的交易聚合商。我们使用以下方法来获取数据;
正如彼得所提到的,当网站更改代码时,屏幕抓取可能会有点痛苦,但这种情况不会经常发生。可能必须每月更新1个或2个站点,我们列出的100个左右。
答案 2 :(得分:0)
Dealery可能会使用RSS提要或API,因为我看到他们聚集的网站实际上提供了RSS提要和API。
其他网站:
可能会进行屏幕抓取,因为我无法找到他们聚合的某些网站的RSS Feed或API。