如何在应用多个过滤器时提高查询性能?

时间:2018-06-05 14:12:54

标签: mysql sql performance

我有三元关系,称为ternary,如下所示:

id_Offer    -   id_Profile  -   id_Skill
1           -   1           -   1
1           -   2           -   1

[and so on, there would be more registers for each id_Offer from Offer but I want to limit the example]

表格配置文件看起来像这样(profile_interest是一个稳定个人资料和兴趣之间关系的表格,所有这些):

id_Profile -   profile_name
1          -   profile-1
2          -   profile-2
3          -   profile-3

因此,当我进行以下查询时,我添加的OR子句越多,查询执行的越差,从~0.1-0.2秒开始,这是我所做的任何其他查询得到的,最多1.5秒。

SELECT DISTINCT ternary_table.id_profile, COUNT(distinct profile_interest.id_interest) as matching 
FROM ternary_table INNER JOIN profile ON ternary_table.id_profile=profile.id_profile 
INNER JOIN profile_interest ON profile.id_profile=profile_interest.id_profile 
WHERE profile_interest.id_interest= '1' 
 OR profile_interest.id_interest = '2' 
 OR profile_interest.id_interest = '3'
 OR profile_interest.id_interest = '14'
 OR profile_interest.id_interest = '15'
 OR profile_interest.id_interest = '16'
GROUP BY(ternary_table.id_profile) 
ORDER BY matching DESC; 

我尝试将字段profile_interest.id_interest设为索引列,其中包含:

CREATE INDEX filter_interest ON profile_interest(id_interest );

没有任何进步。数据库重量不到一千兆字节,是一个非常小的数据库,有大约15个表,所以我想知道是否有任何方法可以缩短查询延迟。

编辑:要添加更多信息,我担心的原因是因为此数据的唯一目的是连接到API,因此SQL中的任何延迟都会延迟对此数据的每次调用。

Edit1:添加了EXPLAIN输出并删除了第一个不同的,因为它是不必要的

+----+-------------+---------------------+------------+--------+------------------------------------------------+------------+---------+------------------------------------+------+----------+-----------------------------------------------------------+
| id | select_type | table               | partitions | type   | possible_keys                                  | key        | key_len | ref                                | rows | filtered | Extra                                                     |
+----+-------------+---------------------+------------+--------+------------------------------------------------+------------+---------+------------------------------------+------+----------+-----------------------------------------------------------+
|  1 | SIMPLE      | profile_interest      | NULL       | range  | PRIMARY,id_interest,filter_interest | id_interest | 202 | NULL                               |   40 |   100.00 | Using where; Using index; Using temporary; Using filesort |
|  1 | SIMPLE      | perfil              | NULL       | eq_ref | PRIMARY                                        | PRIMARY    | 202     | BBDD.profile_interest.id_perfil    |    1 |   100.00 | Using index                                               |
|  1 | SIMPLE      | oferta_skill_perfil | NULL       | ref    | PRIMARY,id_skill,id_perfil                     | id_perfil  | 202     | BBDD.profile_interest.id_perfil    | 4609 |   100.00 | Using index                                               |
+----+-------------+---------------------+------------+--------+------------------------------------------------+------------+---------+------------------------------------+------+----------+-----------------------------------------------------------+

编辑2:为每个请求添加了表创建

SET FOREIGN_KEY_CHECKS=1;

CREATE TABLE profile (
    id_profile VARCHAR(200) NOT NULL,
    name_profile VARCHAR(200),
    type_profile VARCHAR(200),
    PRIMARY KEY (id_profile)
);


CREATE TABLE ternary (
    id_oferta VARCHAR(200) NOT NULL,
    id_skill VARCHAR(200) NOT NULL,
    id_profile VARCHAR(200) NOT NULL,
    ranking_skill DOUBLE NOT NULL,
    PRIMARY KEY (id_oferta, id_skill, id_profile),
    FOREIGN KEY (id_oferta) REFERENCES oferta(id_oferta),
    FOREIGN KEY (id_skill) REFERENCES skill(id_skill),
    FOREIGN KEY (id_profile) REFERENCES profile(id_profile)
);

 CREATE TABLE interest (
    id_interest VARCHAR(200) NOT NULL,
    name_interes VARCHAR(200),
    PRIMARY KEY (id_interest)
 );


CREATE TABLE profile_interest (
    id_profile VARCHAR(200) NOT NULL,
    id_interest VARCHAR(200) NOT NULL, 
    PRIMARY KEY (id_profile, id_interest),
    FOREIGN KEY (id_profile) REFERENCES profile(id_profile),
    FOREIGN KEY (id_interest) REFERENCES interes(id_interest)
);

4 个答案:

答案 0 :(得分:2)

您可以尝试将其写为:

select tt.id_profile,
       (select count(distinct pi.id_interest)
        from profile_interest pi
        where tt.id_profile = pi.id_profile and
              pi.id_interest in (1, 2, 3, 14, 15, 16)
       ) as matching
from ternary_table tt;

为此,您需要profile_interest(id_profile, id_interest)上的索引。

编辑:

如果您只想要匹配的行,则可以添加:

having matching > 0

答案 1 :(得分:1)

SELECT  id_profile,
        COUNT(id_interest) as matching
    FROM  profile_interest AS pi
    WHERE  id_interest IN (1,2,4,14,15,16)
      AND EXISTS ( SELECT * FROM oferta_skill_perfil
                                          WHERE id_profile = pi.id_profile )
      AND EXISTS ( SELECT * FROM profile  WHERE id_profile = pi.id_profile )
    GROUP BY id_profile
    ORDER BY  matching DESC;

profile_interest按此顺序需要INDEX(id_interest, id_profile)

我之所以使用EXISTS只是因为这似乎是触及其他表格的真正目的。但也许他们不需要被触动?

减速是由我称之为“爆炸 - 内爆”或“膨胀 - 放气”引起的。当JOIN某些表(导致更多中间行),然后GROUP BY缩回到您的开始时,会发生这种情况。  摆脱它的技术是首先专注于根据需要进行聚合(COUNT),然后 JOIN

当你需要检查存在时,

EXISTs要快得多,而不是实际找到所有4609行。

profile_interest似乎是一个多对多映射表。请参阅我的提示here

请注意,它建议我上面建议的索引。

通常ids是整数;为什么你有VARCHAR(200)?这种长串没有明显的来源。

答案 2 :(得分:0)

不是答案。评论太长了......

FWIW,我发现这更容易阅读...

startServer server1
wsadmin -lang jacl

wsadmin>$AdminTask importWasprofile {-archive C:\workspace\ServerConfig\old.car}
wsadmin>$AdminConfig save
wsadmin>Exit

现在,如果我们只能看到SHOW CREATE TABLE语句以及那个的EXPLAIN。

答案 3 :(得分:0)

您的查询可能会缩减为:

SELECT id_profile, 
   COUNT(distinct id_interest) as matching  -- or COUNT(*)??
FROM profile_interest 
WHERE id_interest IN(1,2,3,14,15,16) -- those ids are probably integers, not strings
GROUP BY id_profile
ORDER BY matching DESC;