大量的记录（大约40,000）通过php，mysql脚本插入到mysql中

Question

我在csv文件中有大量记录（大约40,000个），以便更新到数据库表中。

我知道如何编写代码（PHP）来更新记录，但我担心的是大量数据。

我应该如何处理一次更新大量记录？

Answer 1

你可以用它。对您有所帮助

LOAD DATA INFILE 'data.csv' INTO TABLE my_table;


LOAD DATA INFILE 'data.txt' INTO TABLE table2
FIELDS TERMINATED BY '\t';

Answer 2

循环遍历csv文件中的所有行。将每一行解析为不同的变量以更新数据库。使用正常的SQL调用。

只有不同之处，您可能需要在文件的最顶部添加set_time_limit(0);。这将阻止PHP超时。

Answer 3

遵循某种分布式处理流程。有一个分发线程和一些工作线程。分发线程可以从csv文件中读取数据，将工作分配给工作池中的空闲工作线程。您可以限制线程池大小，平衡性能和资源使用情况。你已经告诉过，你知道如何进行更新。所以工作线程代码是可以理解的。 :)希望这有帮助