Answer 1

是否只有亚马逊正在尝试处理？

无论如何，亚马逊最好的办法是使用他们的API，这里有一个库，可以快速轻松地处理所谓的CloudFusion。几个星期前我第一次使用它时花了大约15分钟从中获取可用数据，大部分时间都花在注册Amazon API密钥上，有一个good tutorial here可以帮助你。

BestBuy还有一个名为ReMix的API，虽然我自己从未使用它，但显然还不错。

如果您需要处理其他网站，我使用PHP Simple HTML Dom Parser获得了良好的效果，但您需要密切关注抓取，因为网站重新设计很可能会破坏您的解析器。