Question

这是该问题的后续行动

How to map a unique number to each unique string in a column of lists

哪个问如何将唯一编号映射到包含列表的多个熊猫列中的项目。

当项目数（A列和B列中的项目总数）在4,000万左右时，给出的解决方案似乎非常慢。我发现了一些可以更快地为数据集分配唯一编号的方法，可处理约4,000万个项目，但是对于多列的情况却没有，这其中的一个包含一个列表。

这是上面链接中的最小示例和解决方案：

设置数据框

df = pd.DataFrame(data={'A': ['2f4', '1k1', 'nmk'], 'B': ['x', 'y', 'z']})
df.at[0, 'B'] = ['jki', 'gg4', 'k6k']
df.at[1, 'B'] = ['2f4', 'gg4', 'g24']
df.at[2, 'B'] = ['1k1', 'g24', '1k1', 'pir']

df

     A                     B
0  2f4       [jki, gg4, k6k]
1  1k1       [2f4, gg4, g24]
2  nmk  [1k1, g24, 1k1, pir]

解决方案

i, u = pd.factorize([*df.A, *np.concatenate(df.B)])
l = df.B.str.len()[:-1].cumsum()
n = len(df)

df.assign(MappedA=i[:n], MappedB=np.split(i[n:], l))

     A                     B  MappedA       MappedB
0  2f4       [jki, gg4, k6k]        0     [3, 4, 5]
1  1k1       [2f4, gg4, g24]        1     [0, 4, 6]
2  nmk  [1k1, g24, 1k1, pir]        2  [1, 6, 1, 7]

我正在尝试查看是否有更有效的计算解决方案。我怀疑是这样，因为有些方法可以在几分钟内为4000万个项目分配唯一的编号（而上述解决方案似乎从未完成）。

这是一种解决方案

mapping = {k: v for v, k in enumerate(df.A.unique())}  
df['MappedA'] = df.A.map(mapping)

我想知道是否有一种方法可以将其应用于我的情况，即将A列和B列中的项目映射到唯一的数字，从0开始，A列中的项目获得第一个数字，然后分配B列中剩余的唯一项。

编辑：

用户提到熊猫不是处理字符串列表的最有效的计算方法。我可以通过

将其转换为一个numpy数组

numpyArray = df.values

因此，如果有一种使用numpy数组的解决方案的方法，可以很容易地实现。

Answer 1

效率低下是由于我在构造各个部分时所采取的自由度。我可以通过一些调整来提高性能

a = df.A.values
b = np.concatenate(df.B.values)
i, u = pd.factorize(np.append(a, b))
l = np.array([*map(len, df.B)])[:-1].cumsum()
n = len(df)

df.assign(MappedA=i[:n], MappedB=np.split(i[n:], l))

更大的df

df = pd.concat([df] * 10000, ignore_index=True)

%%timeit
i, u = pd.factorize([*df.A, *np.concatenate(df.B)])
l = df.B.str.len()[:-1].cumsum()
n = len(df)

df.assign(MappedA=i[:n], MappedB=np.split(i[n:], l))

# 1 loop, best of 3: 506 ms per loop

%%timeit
a = df.A.values
b = np.concatenate(df.B.values)
i, u = pd.factorize(np.append(a, b))
l = np.array([*map(len, df.B)])[:-1].cumsum()
n = len(df)

df.assign(MappedA=i[:n], MappedB=np.split(i[n:], l))

# 10 loops, best of 3: 95.1 ms per loop

这使我们的性能提高了5倍。

将唯一数字映射到列表列中每个唯一字符串的最有效的计算方法

1 个答案: