Question

我们说我有以下Pandas DataFrame：

id | a1 | a2 | a3 | a4 
1  | 3  | 0  | 10 | 25   
2  | 0  | 0  | 31 | 15  
3  | 20 | 11 | 6  | 5  
4  | 0  | 3  | 1  | 7

我想要的是计算n的各种值中每行n个连续非零值的非重叠运行次数。所需的输出是：

id | a1 | a2 | a3 | a4 | 2s | 3s | 4s
1  | 3  | 0  | 10 | 25 | 1  | 0  | 0
2  | 0  | 0  | 31 | 15 | 1  | 0  | 0
3  | 20 | 11 | 6  | 5  | 2  | 1  | 1
4  | 0  | 3  | 1  | 7  | 1  | 1  | 0

例如2s列中的每个值都显示该行中长度为2的非重叠运行次数，3s列中的每个值都显示长度为3的相应运行次数，依此类推。 / p>

我想知道是否有任何Pandas或Numpy方法可以解决这个问题？

Answer 1

这是使用2D convolution来解决行中任意数量元素的一种方法 -

from scipy.signal import convolve2d as conv2

n = 6
v = np.vstack([(conv2(df.values!=0,[[1]*I])==I).sum(1) for I in range(2,n+1)]).T
df_v = pd.DataFrame(v, columns = [[str(i)+'s' for i in range(2,n+1)]])
df_out = pd.concat([df, df_v],1)

基本理念

基本思想是我们可以使用滑动窗口来计算每行中非零的存在。假设我们正在寻找连续出现的三个非零值。因此，我们将使用大小为3的滑动窗口并获得滑动求和。所有那些滑动窗口都将所有三个元素都显示为非零的位置将产生3的总和。因此，我们会查找与3匹配的摘要并对其进行计数。而已！我们遍历所有窗口大小以捕获所有2s，3s等

这是在数组上计算3s的示例运行 -

In [326]: a
Out[326]: 
array([[0, 2, 1, 2, 1, 2],
       [2, 2, 2, 0, 0, 0],
       [2, 2, 1, 1, 1, 1],
       [1, 2, 1, 2, 0, 1]])

In [327]: a!=0
Out[327]: 
array([[False,  True,  True,  True,  True,  True],
       [ True,  True,  True, False, False, False],
       [ True,  True,  True,  True,  True,  True],
       [ True,  True,  True,  True, False,  True]], dtype=bool)

In [329]: conv2(a!=0,[[1]*3])
Out[329]: 
array([[0, 1, 2, 3, 3, 3, 2, 1],
       [1, 2, 3, 2, 1, 0, 0, 0],
       [1, 2, 3, 3, 3, 3, 2, 1],
       [1, 2, 3, 3, 2, 2, 1, 1]])

In [330]: conv2(a!=0,[[1]*3])==3
Out[330]: 
array([[False, False, False,  True,  True,  True, False, False],
       [False, False,  True, False, False, False, False, False],
       [False, False,  True,  True,  True,  True, False, False],
       [False, False,  True,  True, False, False, False, False]], dtype=bool)

In [331]: (conv2(a!=0,[[1]*3])==3).sum(1)
Out[331]: array([3, 1, 4, 2])

示例运行 -

In [158]: df_out
Out[158]: 
   a1  a2  a3  a4  a5  a6  2s  3s  4s  5s  6s
0   1   2   1   0   0   2   2   1   0   0   0
1   1   1   2   1   0   1   3   2   1   0   0
2   1   1   0   0   1   1   2   0   0   0   0
3   2   2   1   0   2   2   3   1   0   0   0

请注意，如果第一列是'id'，那么我们需要跳过它。因此，我们需要在提议的解决方案代码中使用df.values[:,1:]而不是df.values。

Answer 2

管理非重叠功能的解决方案。

def count(row,mins):
    runs=(row!=0).astype(uint8).tobytes().decode().split(chr(0))
    lengths=[len(run) for run in runs]
    return np.floor_divide.outer(lengths,mins).sum(0)

它使用字符串快速操作来查找所有运行，然后使用//来查找可以在每个运行中构建的给定长度的非重叠运行次数。

df:

    a1  a2  a3  a4
id                
1    3   0  10  25
2    0   0  31  15
3   20  11   6   5
4    0   3   1   7

np.apply_along_axis(count,1,df,[2,3,4])返回

array([[1, 0, 0],
       [1, 0, 0],
       [2, 1, 1],
       [1, 1, 0]], dtype=int32)

这是df的预期结果。

在DataFrame中按行计算非重叠的非零值运行

2 个答案: