Question

我正在做一个练习数据预处理的工作，在这种情况下，是等宽合并，但是我不熟悉这些numpy函数，所以我的python代码有点丑陋：

def eq_width_bin(data, bins):
  bin_edge = np.linspace(np.min(data), np.max(data), bins+1)
  bin_edge[-1] += 1
  re  = []
  for i in data:
    for j in bin_edge:
      if i < j:
        re.append(int(np.argwhere(bin_edge==j))-1)
        break
  return re

data = np.array([80, 95, 70, 30, 20, 10, 75, 65, 98, 103, 130, 70])
print("After equal width binning:\n{}".format(eq_width_bin(data, 3)))

但是在红宝石中，我可以用不到10行做到这一点（尽管这有点慢）：

def eq_width_bin(data, bins)
  bin_edge = bins.times.collect{|i| data.min + (data.max - data.min) / bins * i} << data.max + 1
  return data.collect{|i| bin_edge.index{|j| i < j} - 1}
end
data = [80, 95, 70, 30, 20, 10, 75, 65, 98, 103, 130, 70]
puts "After equal width binning:\n#{eq_width_bin(data, 3)}"

我经常使用.select .collect .inject .sort_by来处理ruby中的数组，因此上面可以使用任何numpy函数“美化”我的python代码？（特别是知道numpy的内置函数比在pyhton中执行内置函数要快得多）

Answer 1

最初看起来像bincount或histogram，但是输出是每个值都适合的bin，而不是每个bin的项目数：

In [3]: eq_width_bin(data,3)                                                    
Out[3]: [1, 2, 1, 0, 0, 0, 1, 1, 2, 2, 2, 1]

您的垃圾箱：

In [10]: np.linspace(np.min(data),np.max(data),4)                               
Out[10]: array([ 10.,  50.,  90., 130.])

我们可以使用简单的整数除法来确定每个值的bin：

In [12]: (data-10)//40                                                          
Out[12]: array([1, 2, 1, 0, 0, 0, 1, 1, 2, 2, 3, 1])

并使用以下命令更正3：

In [16]: np.minimum((data-10)//40,2)                                            
Out[16]: array([1, 2, 1, 0, 0, 0, 1, 1, 2, 2, 2, 1])

但这并不能回答您有关.select .collect .inject .sort_by的问题。我暂时不熟悉这些内容（尽管几年前我是Squeak的粉丝，并涉足了Ruby）。它们听起来更像迭代器，例如在itertools中收集的迭代器。

对于numpy，我们通常不采用迭代方法。相反，我们尝试从整体上看待数组，对整个数组进行除法和最小/最大值之类的事情。

===

searchsorted也可以解决此问题：

In [19]: np.searchsorted(Out[10],data)                                              
Out[19]: array([2, 3, 2, 1, 1, 0, 2, 2, 3, 3, 3, 2])

In [21]: np.maximum(0,np.searchsorted(Out[10],data)-1)                              
Out[21]: array([1, 2, 1, 0, 0, 0, 1, 1, 2, 2, 2, 1])

（可能）Python循环的更简洁表达：

def foo(i, edges):
    for j,n in enumerate(edges):
        if i<n:
            return j-1
    return j-1
In [34]: edges = np.linspace(np.min(data),np.max(data),4).tolist()              
In [35]: [foo(i,edges) for i in data]                                           
Out[35]: [1, 2, 1, 0, 0, 0, 1, 1, 2, 2, 2, 1]

我将edges转换为列表，因为这样可以更快地进行迭代。

使用itertools：

In [55]: [len(list(itertools.takewhile(lambda x: x<i,edges)))-1 for i in data]  
Out[55]: [1, 2, 1, 0, 0, -1, 1, 1, 2, 2, 2, 1]

===

另一种方法

In [45]: edges = np.linspace(np.min(data),np.max(data),4)                       
In [46]: data[:,None]<-edges                                                    
Out[46]: 
array([[False, False, False, False],
       [False, False, False, False],
       [False, False, False, False],
       [False, False, False, False],
       [False, False, False, False],
       [False, False, False, False],
       [False, False, False, False],
       [False, False, False, False],
       [False, False, False, False],
       [False, False, False, False],
       [False, False, False, False],
       [False, False, False, False]])
In [47]: np.argmax(data[:,None]<edges, axis=1)-1                                
Out[47]: array([ 1,  2,  1,  0,  0,  0,  1,  1,  2,  2, -1,  1])

-1需要清理（没有True的行）。

编辑

列表具有index方法；这样，我们可以得到一个很像您的最后Ruby行的表达式。看起来列表理解很像Ruby collect：

In [88]: [[i<j for i in edges].index(False)-1 for j in data]                    
Out[88]: [1, 2, 1, 0, 0, -1, 1, 1, 2, 2, 2, 1]

Numpy等价的Ruby数组函数

1 个答案:

编辑