标签: web-scraping bigdata amazon
有一堆服务为Amazon提供了价格跟踪功能,例如Keepa。他们每天在亚马逊上跟踪约6.2亿种产品。我想知道他们使用什么工具来维护如此大规模的跟踪?我假设他们使用网页抓取来获取信息,但是,我不确定该架构的外观如何,因此不必每月支付数百万美元。
也许有人可以提供一些有关此类挑战的可行解决方案的想法。