Question

我有一个41000x3 numpy数组，我在下面的函数中称之为“sortedlist”。第三列有一堆值，其中一些是重复的，另一些则不是。我想从第三列中获取一个唯一值（没有重复）的样本，这是sortedlist [：，2]。我想我可以使用numpy.random.sample（sortedlist [：，2]，sample_size）轻松完成这项工作。问题是我想要返回的不仅仅是那些值，而是返回所有三列，在最后一列中，我从numpy.random.sample中随机选择了值。

编辑：通过唯一值我的意思是我想选择只出现一次的随机值。所以如果我有一个数组：

array = [[0, 6, 2]
         [5, 3, 9]
         [3, 7, 1]
         [5, 3, 2]
         [3, 1, 1]
         [5, 2, 8]]

我想选择第三列的4个值，我希望得到类似new_array_1的内容：

new_array_1 = [[5, 3, 9]
               [3, 7, 1]
               [5, 3, 2]
               [5, 2, 8]]

但我不想要像new_array_2这样的东西，其中第3列中的两个值是相同的：

new_array_2 = [[5, 3, 9]
               [3, 7, 1]
               [5, 3, 2]
               [3, 1, 1]]

我有代码来选择随机值，但没有在第三列中不应该重复的标准。

samplesize = 100

rand_sortedlist = sortedlist[np.random.randint(len(sortedlist), size = sample_size),:]]

我正试图通过做这样的事情来强制执行这个标准

    array_index = where( array[:,2] == sample(SelectionWeight, sample_size) )

但我不确定我是否走在正确的轨道上。任何帮助将不胜感激！

Answer 1

我无法想到一种聪明的numpythonic方式来做到这一点，不涉及多次传递数据。（有时numpy比纯Python快得多，但它仍然是最快的方式，但它永远不会感觉正确。）

在纯Python中，我会做类似

的事情

def draw_unique(vec, n):
    # group indices by value
    d = {}
    for i, x in enumerate(vec):
        d.setdefault(x, []).append(i)

    drawn = [random.choice(d[k]) for k in random.sample(d, n)]        
    return drawn

会给出

>>> a = np.random.randint(0, 10, (41000, 3))
>>> drawn = draw_unique(a[:,2], 3)
>>> drawn
[4219, 6745, 25670]
>>> a[drawn]
array([[5, 6, 0],
       [8, 8, 1],
       [5, 8, 3]])

我可以想到np.bincount和scipy.stats.rankdata的一些技巧，但是它们会伤到我的脑袋，最后总是最后一步我无法看到如何进行矢量化......如果我并没有把整个事情搞得很好，我也可以使用上面的内容，至少很简单。

Answer 2

我相信这会做你想要的。请注意，运行时间几乎肯定会受到用于生成随机数的任何方法的支配。（例外情况是，如果数据集是巨大的，但您只需要少量的行，在这种情况下需要绘制很少的随机数。）所以我不确定这会比纯python方法运行得快得多。

# arrayify your list of lists
# please don't use `array` as a variable name!
a = np.asarray(arry)

# sort the list ... always the first step for efficiency
a2 = a[np.argsort(a[:, 2])]

# identify rows that are duplicates (3rd column is non-increasing)
# Note this has length one less than a2
duplicate_rows = np.diff(a2[:, 2]) == 0)

# if duplicate_rows[N], then we want to remove row N and N+1
keep_mask = np.ones(length(a2), dtype=np.bool) # all True
keep_mask[duplicate_rows] = 0 # remove row N
keep_mask[1:][duplicate_rows] = 0 # remove row N + 1

# now actually slice the array
a3 = a2[keep_mask]

# select rows from a3 using your preferred random number generator
# I actually prefer `random` over numpy.random for sampling w/o replacement
import random
result = a3[random.sample(xrange(len(a3)), DESIRED_NUMBER_OF_ROWS)]

从python中的数组的第三列中选择唯一的随机值

2 个答案: