我正在尝试优化大型表(250K对象)上的迁移速度。 目标是根据与该行相关的对象的用户,向每行添加一个用户字段:
我尝试使用F表达式,但可惜django不允许它们之间存在关系。请注意,我主要是SQL的初学者:)
## models.py
class Band(models.Model):
user = models.ForeignKey(
settings.AUTH_USER_MODEL,
on_delete=models.CASCADE,
null=True,
default=None)
...
class Album(models.Model):
band = models.ForeignKey(
Band
on_delete=models.CASCADE,
null=True,
default=None)
user = models.ForeignKey(
settings.AUTH_USER_MODEL,
on_delete=models.CASCADE,
null=True,
default=None)
...
## 0035_album_add_user.py
def forwards_add_user(apps, schema_editor):
Album = apps.get_model('band', 'Album')
db_alias = schema_editor.connection.alias
albums = Album.objects \
.using(db_alias) \
.filter(band__isnull=False) \
.select_related('band', 'band__user')
for each in albums:
each.user = each.band.user
Album.objects \
.using(db_alias) \
.bulk_update(albums, ['user'])
class Migration(migrations.Migration):
dependencies = [ ... ]
operations = [
migrations.RunPython(forwards_add_user, reverse_add_user),
]
当前,此迁移在我的本地系统上需要一个小时,并且在整个过程中数据库使用率均为100%。我有一个更好的CPU,感谢我的生产数据库,所以这让我很担心,将生产数据库停机一个小时实际上不是一种选择。
我正在寻找两个不同的解决方案,但我都不知道如何实现: -优化更多的python代码以使其运行更快 -在迁移过程中限制数据库的CPU消耗,使其保持可用状态。 两者都是最好的情况:)
我正在生产中的RDS上运行带有Django2.2.9和PostgreSQL10.6的Python3.6.9,并在本地Docker中运行。
谢谢!
答案 0 :(得分:2)
使用子查询来更新字段,类似于以下操作,因为您无法在更新联接表中使用F()函数
Album.objects.update(
user=Subquery(
Band.objects.filter(
id=OuterRef('band')
).values('user')[:1]
)
)