Question

我有一个大小为（m，n）的pandas数据框，其中包含0和1。如果数据帧的每一行都被视为二进制数，我想生成一个pandas系列，其中包含由该行表示的基数为10的整数。

给定以下维度矩阵（m，n）填充0和1：

m = int(1e6)
n = 5
df = pd.DataFrame(np.random.rand(m,n)).round().astype(int)

我现在使用的方法就是这个：

df_asstr = df.astype(str)
bin_series = df_asstr.sum(axis=1).astype(int).astype(str)

def bin_to_int(strnum):
    return int(strnum, 2)

decimal_series = bin_series.astype(str).apply(bin_to_int)

我的问题是时间。如果数据帧的长度大约为m=1e3，那么整个过程只需不到一秒钟。但是，当我使用m=1e6时，大约需要22秒，我需要运行其中的许多，所以我真的想加快速度。

我知道减慢流程的步骤是涉及将DataFrame转换为str的步骤，即这些行：

df_asstr = df.astype(str)
bin_series = df_asstr.sum(axis=1).astype(int).astype(str)
decimal_series = bin_series.astype(str).apply(bin_to_int)

有没有人知道用十进制基数创建一系列整数的更有效方法？非常感谢！

Answer 1

您可以将dot产品与按位左移运算符一起使用：

a = df.values
b = a.dot(1 << np.arange(a.shape[-1] - 1, -1, -1))

In [157]: %%timeit 
     ...: a = df.values
     ...: b = pd.Series(a.dot(1 << np.arange(a.shape[-1] - 1, -1, -1)), index=df.index)
     ...: 
16.8 ms ± 281 µs per loop (mean ± std. dev. of 7 runs, 100 loops each)

In [158]: %%timeit
     ...: (2 ** (np.arange(start = len(df.columns), stop = 0, step = -1)-1) * df).sum(axis =1)
     ...: 
81.5 ms ± 432 µs per loop (mean ± std. dev. of 7 runs, 10 loops each)

Answer 2

我认为这可以满足您的需求：

(2 ** (np.arange(start = len(df.columns), stop = 0, step = -1)-1) * df).sum(axis =1)

0          1
1         27
2          4
3         11
4         29
5         27
6          3
7         29

说明：

我们希望将数据帧的每一列乘以2 ** x，其中x是距离右侧有多远的索引：

2 ** (np.arange(start = len(df.columns), stop = 0, step = -1)-1) 

array([16,  8,  4,  2,  1], dtype=int32)

一旦我们有了这个，我们将数据帧乘以它，并在轴= 1上求和得到我们的系列。

定时：

你的回答：

%%timeit
df_asstr = df.astype(str)
bin_series = df_asstr.sum(axis=1).astype(int).astype(str)

def bin_to_int(strnum):
    return int(strnum, 2)

decimal_series = bin_series.astype(str).apply(bin_to_int)

1 loop, best of 3: 20.2 s per loop

这一个：

%%timeit
(2 ** (np.arange(start = len(df.columns), stop = 0, step = -1)-1) * df).sum(axis =1)

10 loops, best of 3: 117 ms per loop

编辑：正如@jezrael在下面回答的那样，mul和sum是一个点积：

df.values.dot((2 ** (np.arange(start = len(df.columns), stop = 0, step = -1)-1)))

10 loops, best of 3: 23.4 ms per loop

Answer 3

您正确地将字符串转换识别为瓶颈。这些可以通过将二进制转换为十进制的教科书方式来避免。将每列与相应的值相乘，并将每行的总和相乘。在过时的安装中，这会产生~380倍的加速。下面的片段在Jupyter笔记本中都接近了。 df的设置与第一个代码部分相同。

m = int(1e6)
n = 5
df = pd.DataFrame(np.random.rand(m,n)).round().astype(int)

def StatusQuo(df):
    df_asstr = df.astype(str)
    bin_series = df_asstr.sum(axis=1).astype(int).astype(str)

    def bin_to_int(strnum):
        return int(strnum, 2)

    decimal_series = bin_series.astype(str).apply(bin_to_int)
    return decimal_series
%time StatusQuo(df)
# CPU times: user 12.1 s, sys: 103 ms, total: 12.2 s
# Wall time: 12.2 s


def Naive(df):
    n = len(df.columns)
    powers = np.array([2**i for i in range(n-1,-1,-1)])
    df_values = df.mul(powers).sum(axis=1)
return df_values
%time Naive(df)
# CPU times: user 31 ms, sys: 52 ms, total: 83 ms
# Wall time: 32.1 ms

pandas系列位到十进制基数的整数

3 个答案: