如何在Django中创建不区分大小写的数据库索引?

时间:2013-09-03 17:18:41

标签: database django django-models model indexing

我正在使用Django创建一些数据库表,如下所示:

class MetadataTerms(models.Model):
    term = models.CharField(max_length=200)
    size = models.IntegerField(default=0)
    validity = models.IntegerField(default=0, choices=TERM_VALIDITY_CHOICES)

然后我运行查询查询以找到具有正确term的相应行,并以不区分大小写的方式进行匹配。 E.g:

MetadataTerms.objects.filter(term__iexact=search_string, size=3)

这个查找子句转换为SQL中的类似内容:

 SELECT "app_metadataterms"."id", "app_metadataterms"."term", "app_metadataterms"."size" FROM "app_metadataterms" WHERE (UPPER("app_metadataterms"."term"::text) = UPPER('Jack Nicklaus survives')  AND "app_metadataterms"."size" = 3 );

在Postgres上,我可以对上面的内容进行EXPLAIN查询,我得到了这个查询计划:

                                    QUERY PLAN
-----------------------------------------------------------------------------------
 Seq Scan on app_metadataterms  (cost=0.00..1233.01 rows=118 width=21)
   Filter: ((size = 3) AND (upper((term)::text) = 'JACK NICKLAUS SURVIVES'::text))

由于term字段未编入索引,并且未按案例规范化方式编制索引,因此上述查询需要跨所有数据库行执行慢速Seq [uential]扫描操作。

然后我插入一个简单的case-normalized索引,例如:

 CREATE INDEX size_term_insisitive_idx ON app_metadataterms (upper(term), size);

上面的查询现在运行速度提高了约6倍:

                                         QUERY PLAN
---------------------------------------------------------------------------------------------
 Bitmap Heap Scan on app_metadataterms  (cost=5.54..265.15 rows=125 width=21)
   Recheck Cond: ((upper((term)::text) = 'JACK NICKLAUS SURVIVES'::text) AND (size = 3))
   ->  Bitmap Index Scan on size_term_insisitive_idx  (cost=0.00..5.51 rows=125 width=0)
         Index Cond: ((upper((term)::text) = 'JACK NICKLAUS SURVIVES'::text) AND (size = 3))

我的问题是:如何在Django模型管理命令中注入高级数据库索引的创建?

4 个答案:

答案 0 :(得分:8)

Django 1.11(2.0也应该没问题)+ PostgreSQL:

  1. 首先,创建一个空迁移:

    python3 manage.py makemigrations appName --empty
    
  2. Django使用UPPER进行不精确的查找。因此,创建一个用于添加UPPER(yourField)索引的迁移:

    # -*- coding: utf-8 -*-
    # Generated by Django 1.11.7 on 2017-12-14 23:11
    from __future__ import unicode_literals
    
    
    from django.db import migrations
    
    class Migration(migrations.Migration):
    
        dependencies = [
            ('stats', '0027_remove_siteuser_is_admin'),
        ]
    
        operations = [
            migrations.RunSQL(
                sql=r'CREATE INDEX "stats_siteuser_upper_idx" ON "stats_siteuser" (UPPER("email"));',
                reverse_sql=r'DROP INDEX "stats_siteuser_upper_idx";'
            ),
        ]
    

答案 1 :(得分:3)

在Django 1.9(尚未发布)之前,您可以使用sqlcustom命令,但是如果查看即将发布的1.9的开发文档,您会看到该命令明显缺失。

所以:

  • 在< = 1.8。*中,@ daniel-rucci的答案适用。将SQL放在SQL目录中,它将以非确定性顺序运行。
  • 在> = 1.9中,您需要开始使用新的RunSQL function作为迁移的一部分。如果您愿意,也可以在1.7或1.8中执行此操作。

答案 2 :(得分:3)

3.2 开始,您可以将 *expressions 添加到 Index

如果你想创造

 CREATE INDEX size_term_insisitive_idx ON app_metadataterms (upper(term), size);

这样的事情应该可以工作。

class MetadataTerms(models.Model):
    term = models.CharField(max_length=200)
    size = models.IntegerField(default=0)
    validity = models.IntegerField(default=0, choices=TERM_VALIDITY_CHOICES)
    
    class Meta:
        indexes = [
            Index(
                Upper('term'), 'size',
                name='size_term_insisitive_idx',
            ),
        ]

答案 3 :(得分:2)

要将自定义sql注入django模型管理命令,请查看django-admin.py sqlcustom

你会在<app_name>/sql/<model_name>.sql

中放入一个包含你的创建索引的sql文件

从应用它们的文档开始:

  

所有的SQL文件都被直接传送到数据库中   模型的表创建语句已经执行。使用此SQL   钩子进行任何表修改,或插入任何SQL函数   数据库。

您可以通过运行manage.py sqlcustom <app_name>

查看每个应用的自定义sql