快速数据收集价格比较

Question

我有一个价格比较网站，其中一些供应商没有任何当前的API来获取价格信息。到目前为止，我已经用cURL解决了它，因为它非常慢，我将它们存储在最终用户从中获取它们的数据库中。

出于原因，我希望允许全部实时，从而获得最终用户命令的价格，同时避免保留庞大的价格信息数据库。

哪种替代方案比目前的cURL解决方案更快更轻？

这里有没有人做过类似的事情并且有相关经验？

Answer 1

无论您做什么，手动获取价格的时间都不会改变。无论你如何做，它都将是一个HTTP请求+解析响应。此外，如果您有大量用户，则必须使用缓存。

但是，您可能会尝试使用以下技术间接解决问题：

• 如果要显示实时数据，请对服务器进行AJAX调用（将cURL并将解析后的结果发送给您以更新页面），而不是重新加载页面。这样您就可以在等待期间自定义（并希望改进）用户体验。
• 运行后台流程，每隔一段时间就会刮擦您的供应商并缓存结果。如果用户在缓存数据到期之前请求此信息，您将能够立即满足请求。
• 调整上述过程以便智能地刮擦（在访客数量达到峰值的几个小时内更频繁地刮擦，根据用户实际请求此信息的频率或多或少地刮取供应商和/或产品等）。