Question

我有一个animals表，大约有300万条记录。该表除其他列外，还有id，name和owner_id列。我有一个animal_breeds表，大约有250万条记录。该表只有一个animal_id和breed列。

我正在尝试查找与特定breed关联的不同owner_id值，但是查询需要20秒钟左右的时间。这是查询：

SELECT DISTINCT `breed`
FROM `animal_breeds` 
INNER JOIN `animals` ON `animals`.`id` = `animal_breeds`.`animal_id` 
WHERE `animals`.`owner_id` = ? ;

这些表具有所有适当的索引。我无法通过在breed表中添加animals列来对表进行非规范化处理，因为可能会为动物分配多个品种。其他一些具有一对多关系的大型表也存在这个问题。

是否有更高效的方法来实现我想要的？这似乎是一个非常简单的问题，但除了预先计算和缓存结果外，我似乎无法找出实现此目标的最佳方法。

这是我的查询的解释输出。请注意Using temporary

id  select_type table   partitions  type    possible_keys   key key_len ref rows    filtered    Extra
1   "SIMPLE"    "a" NULL    "ref"   "PRIMARY,animals_animal_id_index"   "animals_animal_id_index"   "153"   "const" 1126303 100.00  "Using index; Using temporary"
1   "SIMPLE"    "ab"    NULL    "ref"   "animal_breeds_animal_id_breed_unique,animal_breeds_animal_id_index,animal_breeds_breed_index"  "animal_breeds_animal_id_breed_unique"  "5" "pedigreeonline.a.id"   1   100.00  "Using index"

并根据要求提供以下创建表语句（我从animals表中删除了一些不相关的列和索引）。我相信animal_breeds_animal_id_index表上的animal_breeds索引由于表上的唯一键是多余的，但是只要它不引起问题，我们就可以暂时忽略它：）

CREATE TABLE `animals` (
  `id` int(10) unsigned NOT NULL AUTO_INCREMENT,
  `name` varchar(150) COLLATE utf8_unicode_ci NOT NULL,
  `owner_id` varchar(50) COLLATE utf8_unicode_ci DEFAULT NULL,
  PRIMARY KEY (`id`),
  KEY `animals_animal_id_index` (`owner_id`,`id`),
  KEY `animals_name_index` (`name`),
) ENGINE=InnoDB AUTO_INCREMENT=2470843 DEFAULT CHARSET=utf8 COLLATE=utf8_unicode_ci


CREATE TABLE `animal_breeds` (
  `animal_id` int(10) unsigned DEFAULT NULL,
  `breed` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL,
  UNIQUE KEY `animal_breeds_animal_id_breed_unique` (`animal_id`,`breed`),
  KEY `animal_breeds_animal_id_index` (`animal_id`),
  KEY `animal_breeds_breed_index` (`breed`),
  CONSTRAINT `animal_breeds_animal_id_foreign` FOREIGN KEY (`animal_id`) REFERENCES `animals` (`id`) ON DELETE CASCADE ON UPDATE CASCADE
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci

任何帮助将不胜感激。谢谢！

Answer 1

对于此查询：

SELECT DISTINCT ab.`breed`
FROM `animal_breeds` ab INNER JOIN
     `animals` a
      ON a.`id` = ab.`animal_id` 
WHERE a.`owner_id` = ? ;

您要在animals(owner_id, id)和animal_breeds(animal_id, breed)上建立索引。复合索引中列的顺序很重要。

有了正确的索引，我想这会很快。

编辑：

根据说明，您使用的值有1,126,303个匹配项。时间是由于删除重复项所致。鉴于表的大小，令人惊讶的是会有这么多匹配的值。

Answer 2

了解数据后，您可以尝试以下操作：

python36 scripts

这个想法是在不进行任何过滤的情况下获得不同品种的简短列表（对于较小的列表，这将是非常快的），然后使用相关的子查询进一步过滤列表。由于列表很短，因此只会执行几个子查询，并且它们只会检查是否存在比任何分组（distinct ==分组）都快得多的子查询。

这仅在您的唯一列表很短的情况下才有效。

根据您的答案随机生成的数据，上述查询为我提供了以下执行计划：

SELECT
    b.*
FROM
    (
        SELECT
            DISTINCT `breed`
        FROM
            `animal_breeds`
    ) AS b
WHERE
    EXISTS (
        SELECT
            *
        FROM
            animal_breeds AS ab
            INNER JOIN animals AS a ON ab.animal_id = a.id
        WHERE
            b.breed = ab.breed
            AND a.owner_id = ?
    )
;

或者，您可以尝试像这样创建WHERE子句：

id  select_type table   partitions  type    possible_keys   key key_len ref rows    filtered    Extra
1   PRIMARY <derived2>      ALL                 2   100.00  
3   SUBQUERY    a       ref PRIMARY,animals_animal_id_index animals_animal_id_index 153 const   1011    100.00  Using index
3   SUBQUERY    ab      ref animal_breeds_animal_id_breed_unique,`animal_breeds_animal_id_index`,animal_breeds_animal_id_index  `animal_breeds_animal_id_index` 5   test.a.id   2   100.00  Using index
2   DERIVED animal_breeds       range   animal_breeds_animal_id_breed_unique,`animal_breeds_breed_index`,animal_breeds_breed_index  `animal_breeds_breed_index` 1022        2   100.00  Using index for group-by

从两个大表的联接中选择不同的值

2 个答案: