从numpy结构化数组中删除重复值

时间:2016-04-23 01:03:07

标签: python numpy duplicates structured-array

我有一个结构化数组v,例如

import numpy as np
v = np.zeros((3,3), [('a1', np.int),('a2', np.int), ('a3', np.int),  
    ('a4', np.int), ('a5', np.int), ('a6', np.int)])

通常v会更大,其他例程计算的'a1',...,'a6'值。假设v

>>> print v
    [[(2, 0, 0, 0, 0, 1) (1, 0, 3, 2, 1, 2) (3, 1, 3, 0, 3, 1)]
     [(1, 2, 1, 1, 0, 3) (3, 0, 3, 2, 3, 1) (1, 3, 1, 1, 3, 3)]
     [(0, 2, 3, 3, 1, 1) (0, 1, 1, 1, 3, 0) (0, 3, 3, 3, 1, 0)]]

我需要从每个条目中删除重复项,并(可选)对每个条目进行排序,以便在v上运行后,我有另一个看起来像

的数组
[[(0, 1, 2) (0, 1, 2, 3) (0, 1, 3)]
 [(0, 1, 2, 3) (0, 1, 2, 3) (1, 3)]
 [(0, 1, 2, 3) (0, 1, 3) (0, 1, 3)]]

我的预感是numpy.unique,但我不能让它发挥作用。有什么想法吗?

2 个答案:

答案 0 :(得分:1)

如下:

v = np.array(
    [[(2, 0, 0, 0, 0, 1), (1, 0, 3, 2, 1, 2), (3, 1, 3, 0, 3, 1)],
     [(1, 2, 1, 1, 0, 3), (3, 0, 3, 2, 3, 1), (1, 3, 1, 1, 3, 3)],
     [(0, 2, 3, 3, 1, 1), (0, 1, 1, 1, 3, 0), (0, 3, 3, 3, 1, 0)]])


def uniqueify(obj):
    if isinstance(obj[0], np.ndarray):
        return np.array([uniqueify(e) for e in obj])
    else:
        return np.unique(obj)


v2 = uniqueify(v)
print(v2)

输出:

[[array([0, 1, 2]) array([0, 1, 2, 3]) array([0, 1, 3])]
 [array([0, 1, 2, 3]) array([0, 1, 2, 3]) array([1, 3])]
 [array([0, 1, 2, 3]) array([0, 1, 3]) array([0, 1, 3])]]

注意:锯齿状数组可能很奇怪。如果你只是简单地创建(python)数组列表(例如:

),那么你就可以了。
def uniqueify(obj):
    if isinstance(obj[0], np.ndarray):
        return [uniqueify(e) for e in obj]
    else:
        return np.unique(obj)

它通常产生相同的东西,但使用python列表来包含numpy数组:

[[array([0, 1, 2]), array([0, 1, 2, 3]), array([0, 1, 3])], [array([0, 1, 2, 3]), array([0, 1, 2, 3]), array([1, 3])], [array([0, 1, 2, 3]), array([0, 1, 3]), array([0, 1, 3])]]

或手动格式化:

[[array([0, 1, 2]), array([0, 1, 2, 3]), array([0, 1, 3])], 
 [array([0, 1, 2, 3]), array([0, 1, 2, 3]), array([1, 3])], 
 [array([0, 1, 2, 3]), array([0, 1, 3]), array([0, 1, 3])]]

答案 1 :(得分:0)

set的使用方法有效:

In [111]: np.array([tuple(set(i)) for i in v.ravel().tolist()]).reshape(3,3)
Out[111]: 
array([[(0, 1, 2), (0, 1, 2, 3), (0, 1, 3)],
       [(0, 1, 2, 3), (0, 1, 2, 3), (1, 3)],
       [(0, 1, 2, 3), (0, 1, 3), (0, 1, 3)]], dtype=object)

我已经返回了一个二维元组数组(dtype对象)。我没有保留结构化数组dtypes。我也可以返回一组数组或一组数据集。

tolist嵌套的元组列表

In [112]: _.tolist()
Out[112]: 
[[(0, 1, 2), (0, 1, 2, 3), (0, 1, 3)],
 [(0, 1, 2, 3), (0, 1, 2, 3), (1, 3)],
 [(0, 1, 2, 3), (0, 1, 3), (0, 1, 3)]]

我不需要原tolist;在raveled数组上迭代就足够了

In [115]: [set(i) for i in v.ravel()]
Out[115]: 
[{0, 1, 2},
 {0, 1, 2, 3},
 {0, 1, 3},
 {0, 1, 2, 3},
 {0, 1, 2, 3},
 {1, 3},
 {0, 1, 2, 3},
 {0, 1, 3},
 {0, 1, 3}]

unique给出同样的东西;我无法做np.unique(i),因为它试图使用整个1元素结构化数组:

In [117]: [np.unique(i.tolist()) for i in v.ravel()]
Out[117]: 
[array([0, 1, 2]),
 array([0, 1, 2, 3]),
 array([0, 1, 3]),
 array([0, 1, 2, 3]),
 array([0, 1, 2, 3]),
 array([1, 3]),
 array([0, 1, 2, 3]),
 array([0, 1, 3]),
 array([0, 1, 3])]

=======================

将其转换为3d数组

在[134]中:v1 = v.view(np.dtype('(6,)i4'))

In [135]: v1
Out[135]: 
array([[[2, 0, 0, 0, 0, 1],
        [1, 0, 3, 2, 1, 2],
        [3, 1, 3, 0, 3, 1]],

       [[1, 2, 1, 1, 0, 3],
        [3, 0, 3, 2, 3, 1],
        [1, 3, 1, 1, 3, 3]],

       [[0, 2, 3, 3, 1, 1],
        [0, 1, 1, 1, 3, 0],
        [0, 3, 3, 3, 1, 0]]])
但是,我不确定这会有所帮助。将unique应用于最后一个维度的问题与结构化表单相同。

In [137]: [np.unique(i) for i in v1.reshape(-1,6)]

===================== 我在下面写的是1d结构化数组。例子是2d。当然,它可以被夷为平地,所有这些都适用。

我的第一个想法是将其转换为列表并将set应用于每个元组。它是一个结构化数组,因此v.tolist()将是一个元组列表。

这条线上的东西是我在Dan找到的链接中的第一个建议:

https://stackoverflow.com/a/32381082/901925

(焦点在于计数; bincount解决方案在这里无济于事。)。

 [set(i) for i in v.tolist()]

你可能甚至不需要翻译它,但我必须测试它。如果结构化记录可以作为set的参数,我不知道。

 [set(i) for i in v]

无论结果如何都是不同长度的项目列表。它们是集合,列表还是数组并不重要。只有它们不是结构化数组 - 除非我们花费额外的精力来确定哪些字段是唯一的。

由于字段都是相同的dtype,因此很容易将其转换为2d数组。

 v.view(int, 6)  # 6 fields

应该做的伎俩(需要测试)。 (更正,将其转换为纯int数组并不像我想象的那么容易)。

np.unique应该与set一样有效;但我怀疑set对于6个值(或任何其他合理数量的字段)更快。