如何提高此PHP / MySQL代码的性能?

时间:2012-06-13 18:20:12

标签: php mysql performance

以下是更大的PHP脚本的一部分,该脚本使用 CSV文件客户端ID 字段作为输入来添加或禁用MySQL数据库中的用户。

涉及两个表,用户 users_clients 。后者保留用户和客户端之间的关系,因为用户可以属于多个客户端。


这是表格的结构

用户结构(它有更多字段)

id        | int(11) (primary key)
user      | varchar(100)
pass      | varchar(100)
category  | int(11)
date      | timestamp
name      | varchar(100)
email     | varchar(255)

用户索引

SEARCH    | user        | FULLTEXT
SEARCH    | name        | FULLTEXT
SEARCH    | email       | FULLTEXT

users_clients 结构

id_user   | int(11)
id_client | int(11)
status    | enum('active','inactive')


这是从CSV文件添加每个用户的脚本的基本流程:

  1. 检查该客户端是否存在该用户。

    SELECT 
        LOWER(user)
    FROM
        users u
        INNER JOIN users_clients uc ON u.id = uc.id_user
    WHERE
        u.user = '$user'
        and uc.id_client = $id_client
    
  2. 如果它不存在,请将其添加到数据库中。

    INSERT INTO 
        users ($fields,id_client)
    VALUES 
        ($values,'$id_operation')
    
  3. 获取插入用户的ID。 我知道我可以在这里使用像 mysql_insert_id 这样的东西,但竞争条件怎么样?。

    SELECT
        u.id as id
    FROM
        users u
    WHERE
        u.user = '$user'
        and u.id_client = '$id_operation'
    
  4. 将用户与相应的客户关联。

    INSERT INTO
        users_clients (id_user, id_client) 
    VALUES
        ('$id_user','$id_client')
    
  5. 目前表中有400,000个用户。该脚本需要10多分钟才能处理500个用户的CVS。

    你如何改进它以使它更快?

    提前致谢。

    PD:如果你想看到完整的功能,可以在pastebin找到它。

2 个答案:

答案 0 :(得分:6)

INSERT INTO table (id,a,b,c) VALUES (5454,1,2,3)
ON DUPLICATE KEY
UPDATE table SET foo WHERE id=xyz;
  1. 在数据库
  2. 中设置索引
  3. 使用mysqli而不是mysql
  4. 收集您要插入的所有内容,并使用预备语句/存储过程(例如此处How to insert an array into a single MySQL Prepared statement w/ PHP and PDO
  5. 执行此操作
  6. 不要做500个SELECT,简单地获取整个数据库并通过foreach / while循环完成它,检查你需要的东西
  7. 使用上面的构造
  8. 重要提示:对于上述声明, id 列应具有唯一索引!!!

答案 1 :(得分:2)

将INSERT包装到事务中并且不用担心,除非您切换到另一个数据库连接,否则mysql_insert_id()是完全安全的。

还可以将所有查询包装到交易中,以提高速度。