Question

我以编程方式将行从excel文件导入数据库。 excel文件有10列* 30000行。我已经在php数组中导入了这些数据，然后将其插入数据库中。

上传文件后，需要7-8分钟才能在数据库中插入所有行。我知道插入行的两种方法

第一种方法：

生成类似的动态查询，

INSERT INTO table_name (col1, col2,..) VALUES (row1, row1, ....), (row2, row2, ....), (row3, row3, ....), (row4, row4, ....), ...

并运行查询以插入所有行。

第二种方法：

$con->prepare("INSERT INTO table_name (col1, col2, ...) VALUES (:col1, :col2, ...)");
foreach ($rows as $row) { // Loop through all rows and insert them
    $result->bindParam(':col1', $val1);
    $result->bindParam(':col2', $val2);
    $result->bindParam(':col3', $val3);
    ...
    ...
    $result->execute();
}

第一个看起来很乱，效率低，我使用的是第二种方法，但每秒只插入500-700行，总插入时间需要7-8分钟。

哪些其他有效且速度更快的方法？

编辑：不建议直接将excel文件导入mysql。在插入数据库之前，需要处理数据。

Answer 1

最快的方法是将数百个插入包装到事务和提交中。 MySQL将使用硬盘的单个输入/输出操作来写入许多记录 - 这很快。

$con->prepare("INSERT INTO table_name (col1, col2, ...) VALUES (:col1, :col2, ...)");

$inserts = 1000;
$counter = 0;

foreach ($rows as $row) { // Loop through all rows and insert them

    if($counter === 0 && !$con->inTransaction()) {
        $con->beginTransaction();
    }

    $result->bindParam(':col1', $val1);
    $result->bindParam(':col2', $val2);
    $result->bindParam(':col3', $val3);
    ...
    ...
    $result->execute();

    $counter++;

    if($counter === $inserts) {
        $con->commit();
    }    
}

if($con->inTransaction()) {
    $con->commit();
    $counter = 0;
}

上面的代码应该在每执行1000次插入后提交。我没有对它进行测试，因此它很可能包含错误，但其目的是说明如何在事务中包装1000个插入并提交它。

Answer 2

尝试将SQL封装到TRANSACTION中，最后提交数据。这将释放大量资源，因为COMMITING数据确实很多（它告诉你的数据库保存你正在插入的数据，以及REINDEX - 假设你有它们）。

此外，请尝试确保您与数据库的连接已合并 - 这意味着您不会每次都从数据库中获取新连接，而是使用相同的连接。

使用事务的风险是，如果数据集中发生一个错误（阻止INSERT），它将回滚整个数据集。

像这样的东西可以起作用..

<?php
  try {
    $dbh = new PDO('odbc:SAMPLE', 'db2inst1', 'ibmdb2', 
      array(PDO::ATTR_PERSISTENT => true)); // POOLED
      echo "Connected\n";
  } catch (Exception $e) {
    die("Unable to connect: " . $e->getMessage());
  }

  try {  
    $dbh->setAttribute(PDO::ATTR_ERRMODE, PDO::ERRMODE_EXCEPTION);

    $dbh->beginTransaction();
    $dbh->prepare("INSERT INTO table_name (col1, col2, ...) VALUES (:col1, :col2, ...)");
    foreach ($rows as $row) { // Loop through all rows and insert them

      // I am not sure where you define $result
      // Review in your implementation if you use
      $result->bindParam(':col1', $val1);
      $result->bindParam(':col2', $val2);
      $result->bindParam(':col3', $val3);
      ...
      ...
      $result->execute();
    }

  } catch (Exception $e) {
    $dbh->rollBack();
    echo "Failed: " . $e->getMessage();
  }


  $dbh->commit();

?>

php pdo一次插入太多行的有效方法

2 个答案: