我有大量的数据集。每组数据包括几个数据库表。数据库表集的模式是相同的。每组表可以有超过一百万行。每组数据属于一个作业,作业之间没有关系。一个或多个作业属于不同的用户。表集将被导入并最终作为一组表被删除。从性能的角度来看,最好将它们保存为单独的表集。
所以我想为几个表中的每一个都有几个通用的Django模型。 我已经在views.py文件中使用类似的代码实现了它:
from foobar.models import Foo, Bar
def my_view(request):
prefix = request.GET.get('prefix')
Foo._meta.db_table = prefix + '_foo'
Bar._meta.db_table = prefix + '_bar'
....
foobar_list = Foo.objects.filter(bar_id=myval)
...
我的问题是:将此代码与基于Django的Web应用程序的并发多个用户一起使用是否安全?模型对象是否在用户之间共享?如果同时有两个请求会发生什么?
编辑NO 2:我已经考虑了Lie Ryan的回答和评论并提出了这段代码:from django.http import HttpResponse, HttpResponseNotFound
from django.db import models
from django.template import RequestContext, loader
def getModels(prefix):
table_map = {}
table_map["foo"] = type(str(prefix + '_foo'), (models.Model,), {
'__module__': 'foobar.models',
'id' : models.IntegerField(primary_key=True),
'foo' : models.TextField(blank=True),
})
table_map["foo"]._meta.db_table = prefix + '_foo'
table_map["bar"] = type(str(prefix + '_bar'), (models.Model,), {
'__module__': 'foobar.models',
'id' : models.IntegerField(primary_key=True),
'foo' : models.ForeignKey(prefix + '_foo', null=True, blank=True),
})
table_map["bar"]._meta.db_table = prefix + '_bar'
return table_map
def foobar_view(request):
prefix = request.GET.get('prefix')
if prefix != None and prefix.isdigit():
table_map = getModels(prefix)
foobar_list = table_map["bar"].objects.filter.order_by('foo__foo')
template = loader.get_template('foobar/foobar.html')
context = RequestContext(request, {
'foobar_list': foobar_list,
})
return HttpResponse(template.render(context))
else:
return HttpResponseNotFound('<h1>Page not found</h1>')
现在我的问题是,编辑过的代码的第二稿是否安全,并发多个用户?
答案 0 :(得分:4)
这种技术称为分片。不,如果您使用线程提供并发请求,则执行此操作是不安全的。
您可以做的是动态构建指向不同db_tables的多个类,并使用工厂选择正确的类。
tables = ["foo", "bar"]
table_map = {}
for tbl in tables:
class T(models.Model):
db_table = tbl
... table definition ...
table_map[tbl] = T
然后创建一个函数,根据您对数据进行分片的方式选择正确的table_map。
如果您接受来自用户输入的表名,请注意注入。
或者,像PostgrSQL这样的某些数据库系统允许每个数据库使用多个模式,这可能是在某些情况下分离数据的更好方法。