如何处理和插入通过API在mysql数据库中传输的大量数据？

Question

在我的实时网站中，我需要处理并插入来自edmunds api的大量数据。我有3张表。制作，模型和修剪。通过连接edmunds api，我得到了数据。在每个品牌下，我都会得到模特。因此，在每个模型下，我将有各种修剪。我对品牌和型号没有任何问题。但修剪数据导致了很多问题。实际上，在一次操作中需要在数据库中插入超过2000行。

但是只有当我禁用修剪代码时，我才能获得制作和模型的所有这些数据。如果我启用修剪部分的代码，那么make和模型也不起作用。

但非常令人惊讶的是，制作，模型和修剪的所有代码都在我的localhost上运行。我已经用过了

ini_set（'max_execution_time'，600）;

在我的脚本中，以避免脚本执行超时。

因此，请帮助我如何在现场工作时处理所有数据并将其插入我的数据库。提前致谢

Answer 1

为数据库插入数据不需要很长时间。我怀疑脚本因内存限制而死，而不是执行时间。

尝试：

ini_set('memory_limit', '500M');

这允许脚本使用最多500兆字节的内存，因此您知道它不是内存问题。如果它成功运行，您可以根据需要将其缩小。

Answer 2

尝试使用Mysql transaction。它可以帮助你。