Question

这是一个部分算法逻辑问题（如何做），部分实现问题（如何做到最好！）。我正在和Django合作，所以我想我会与之分享。

在Python中，值得一提的是，问题与how-do-i-use-pythons-itertoolsgroupby有些相关。

假设您有两个Django Model派生类：

from django.db import models

class Car(models.Model):
    mods = models.ManyToManyField(Representative)

和

from django.db import models

class Mods(models.Model):
   ...

如何获得汽车列表，按汽车分组并使用一组通用的Mod？

即。我想得到一个类似的：

Cars_by_common_mods = [ 
  { mods: { 'a' }, cars: { 'W1', 'W2' } },
  { mods: { 'a', 'b' }, cars: { 'X1', 'X2', 'X3' }, },
  { mods: { 'b' }, cars: { 'Y1', 'Y2' } },
  { mods: { 'a', 'b', 'c' }, cars: { 'Z1' } },
]

我一直在想类似的事情：

def cars_by_common_mods():
  cars = Cars.objects.all()

  mod_list = []      

  for car in cars:
    mod_list.append( { 'car': car, 'mods': list(car.mods.all()) } 

  ret = []

  for key, mods_group in groupby(list(mods), lambda x: set(x.mods)):
    ret.append(mods_group)

  return ret

但是，这不起作用，因为（可能还有其他原因）groupby似乎没有被mods集合分组。我想mod_list必须排序才能与groupby一起使用。总而言之，我相信那里有一些简单而优雅的东西，既有启发性又有启发性。

干杯＆amp;谢谢！的

Answer 1

您是否尝试过排序列表？您提出的算法应该可以工作，尽管有很多数据库命中。

import itertools

cars = [
    {'car': 'X2', 'mods': [1,2]},
    {'car': 'Y2', 'mods': [2]},
    {'car': 'W2', 'mods': [1]},
    {'car': 'X1', 'mods': [1,2]},
    {'car': 'W1', 'mods': [1]},
    {'car': 'Y1', 'mods': [2]},
    {'car': 'Z1', 'mods': [1,2,3]},
    {'car': 'X3', 'mods': [1,2]},
]

cars.sort(key=lambda car: car['mods'])

cars_by_common_mods = {}
for k, g in itertools.groupby(cars, lambda car: car['mods']):
    cars_by_common_mods[frozenset(k)] = [car['car'] for car in g]

print cars_by_common_mods

现在，关于这些查询：

import collections
import itertools
from operator import itemgetter

from django.db import connection

cursor = connection.cursor()
cursor.execute('SELECT car_id, mod_id FROM someapp_car_mod ORDER BY 1, 2')
cars = collections.defaultdict(list)
for row in cursor.fetchall():
    cars[row[0]].append(row[1])

# Here's one I prepared earlier, which emulates the sample data we've been working
# with so far, but using the car id instead of the previous string.
cars = {
    1: [1,2],
    2: [2],
    3: [1],
    4: [1,2],
    5: [1],
    6: [2],
    7: [1,2,3],
    8: [1,2],
}

sorted_cars = sorted(cars.iteritems(), key=itemgetter(1))
cars_by_common_mods = []
for k, g in itertools.groupby(sorted_cars, key=itemgetter(1)):
    cars_by_common_mods.append({'mods': k, 'cars': map(itemgetter(0), g)})

print cars_by_common_mods

# Which, for the sample data gives me (reformatted by hand for clarity)
[{'cars': [3, 5],    'mods': [1]},
 {'cars': [1, 4, 8], 'mods': [1, 2]},
 {'cars': [7],       'mods': [1, 2, 3]},
 {'cars': [2, 6],    'mods': [2]}]

现在您已经获得了汽车ID和mod id的列表，如果您需要使用完整的对象，您可以为每个模型执行单个查询以获取每个模型的完整列表并创建查找{{ 1}}对于那些被他们的ids键入的人 - 那么，我相信，鲍勃是你的谚语父亲的兄弟。

Answer 2

检查regroup。它只适用于模板，但我想这种分类无论如何都属于表示层。

Answer 3

这里有一些问题。

在调用groupby之前，您没有对列表进行排序，这是必需的。来自itertools documentation：

通常，迭代需要已经在相同的键函数上排序。

然后，您不会复制groupby返回的列表。再次，文档说明：

返回的组本身就是一个迭代器，它与底层的iterable共享通过...分组（）。因为源是共享的，所以当groupby对象被提前时，以前的组不再可见。因此，如果以后需要该数据，它应该存储为列表：
groups = []
uniquekeys = []
for k, g in groupby(data, keyfunc):
    groups.append(list(g))      # Store group iterator as a list
    uniquekeys.append(k)

最后的错误是使用集合作为键。他们在这里不起作用。快速解决方法是将它们转换为已排序的元组（可能有更好的解决方案，但我现在想不到它。）

因此，在您的示例中，最后一部分应如下所示：

sortMethod = lambda x: tuple(sorted(set(x.mods)))
sortedMods = sorted(list(mods), key=sortMethod)
for key, mods_group in groupby(sortedMods, sortMethod):
    ret.append(list(mods_group))

Answer 4

如果考虑到性能（即页面上的大量汽车或高流量网站），denormalization有意义，并将您的问题简化为副作用。

请注意，对多对多关系进行非规范化可能会有点棘手。我还没有碰到任何这样的代码示例。

Answer 5

谢谢大家的回复。我一直在解决这个问题。 “最好的”解决方案仍然无法解决，但我有一些想法。

我应该提一下我正在使用的数据集的统计数据。在75％的情况下，将有一个Mod。在24％的案例中，有两个。在1％的情况下，将有零，或三个或更多。对于每个Mod，至少有一辆独特的汽车，虽然Mod可以应用于众多汽车。

话虽如此，我已经考虑过（但没有实施）类似的东西：

class ModSet(models.Model):
  mods = models.ManyToManyField(Mod)

将车改为

class Car(models.Model):
  modset = models.ForeignKey(ModSet)

通过Car.modset进行分组是微不足道的：例如，我可以使用重组，如Javier所建议的那样。这似乎是一个更简单，更合理的解决方案;我会非常感激。

Django / Python - 通过多对多关系中的公共集对对象进行分组

5 个答案: