BigCommerce PHP API - 提取大量数据

时间:2013-12-13 17:52:05

标签: php api timeout out-of-memory bigcommerce

我正在使用BigCommerce PHP API尝试几种不同的数据提取。

在一次尝试中,我需要提取所有客户及其地址。在另一方面,我需要提取所有订单和与之相关的优惠券数据(如果有的话)。

我遇到的问题是BigCommerce返回数据的方式以及我试图提取的数据量的组合。

当我提取客户列表时,地址数据不会与结果一起存储。相反,我必须查询单独的JSON文件。例如:

https://STORE-ID.mybigcommerce.com/api/v2/customers/2104/addresses.json

根据快速入门及其API团队的回复,他们希望我只需遍历每个客户/订单ID,然后另外请求提取每个ID的地址/优惠券数据。

由于此处有大量数据,此操作会导致脚本超时(30秒以上)或PHP内存不足。

是的,我知道PHP的一般解决方案是投入更多硬件,但必须有一种更有效的方法来做到这一点,而不是简单地制作大量的单次长请求,对吗?

我正在考虑多线程或工作的方式,但我个人并不知道任何这样的功能。

1 个答案:

答案 0 :(得分:0)

正如Chirag B所建议的那样,我最终使用Node.JS并将其拆分为多个异步调用。