使用php导入paf

Question

我正在使用csv格式的皇家邮件PAF数据库（大约2900万行），需要使用php将数据拆分为sql server。

有人可以推荐最好的方法来防止超时吗？

以下是数据示例：https://gist.github.com/anonymous/8278066

Answer 1

要禁用脚本执行时间限制，请使用以下命令启动脚本：

set_time_limit(0);

您可能遇到的另一个问题是内存限制。确保您逐行或以块的形式读取文件，而不是一次读取整个文件。您可以使用fgets()执行此操作。

Answer 2

使用

启动脚本

ini_set('max_execution_time', 0);

Answer 3

我发现最快的方法是使用SQL Server BULK INSERT将数据直接和不变地从csv文件加载到匹配的数据库导入表中。然后，从这些导入表中进行我自己的操作和特定于应用程序的表的填充。

我发现BULK INSERT将在几分钟内导入CSVPAF主文件，其中包含近3100万个地址记录。