Question

以下是可重复的，并返回所需结果。

import pandas as pd, numpy as np
np.random.seed(3124)

x = 10 + np.random.rand(10)
y = np.split(10 + np.random.rand(100), 10)

x >= y
# array([[False,  True,  True, False, False, False, False,  True, False, True],
#        ...
#        [False,  True,  True,  True, False,  True, False,  True, False, False]])

np.apply_along_axis(np.greater_equal, 0, x , y)
# same results as x >= y.

但是，如果从上方将x和y从上方拉出pandas数据框，则必须将pandas系列数组转换为数组列表。对于大系列而言，这在计算上非常昂贵。

我将如何以更高效的方式完成此任务？

df = pd.DataFrame({'x':x,'y':y})

df['x'].values >= df['y'].tolist()
# same results as above.

df['x'] >= df['y']
# ValueError: The truth value of an array with more than one element is ambiguous. Use a.any() or a.all()

df['x'].values >= df['y'].values
# ValueError: The truth value of an array with more than one element is ambiguous. Use a.any() or a.all()

编辑

@Divakar对上述问题给出了正确答案。但是，在我的实际用例中，y中的数组的长度都是不同的。

从上方使用y创建更接近我的数据的y2。以下是可重复的。

y2 = [np.resize(a, r) for a,r in zip(y,np.random.randint(2, 10, 10))]
# yields something like:
# [array([10.1269906 , 10.34269353, 10.39461373, 10.022271  , 10.69316165, 10.83981557, 10.03328485, 10.56850597]), 
# array([10.99159117, 10.21215159, 10.65208435, 10.22483111, 10.13748229, 10.72621328]), 
# ...
# array([10.61071355, 10.62141997]), 
# array([10.3899659 , 10.66207985, 10.85937807]), 
# array([10.38374303, 10.93140162, 10.88535643, 10.51529231, 10.60723795, 10.60504599, 10.6773523 ]), 
# array([10.02775067, 10.91382588, 10.31222259, 10.44732757, 10.16980452, 10.88914854, 10.22677905])]

以下内容返回了我想要的结果，但是对于我实际数据帧的大小来说是不可行的。我宁愿使用numpy以矢量化形式进行操作。

[x[i] >= y2[i] for i in range(len(y2))]
# returns 
# [array([False, False, False, False, False, False, False, False]),
#  array([False,  True, False,  True,  True, False]),
#  ...
#  array([ True,  True]), 
#  array([ True, False, False]),
#  array([False, False, False, False, False, False, False]),
#  array([ True,  True,  True,  True,  True,  True,  True])]

Answer 1

获取基础数组数据，以便将y作为2D数组，我们将其命名为Y，将x命名为1D，将其称为为X。然后执行比较以利用broadcasting，就像这样-

Y = np.concatenate(df.y.values).reshape(-1,len(df.y[0]))
X = df.x.values
out = X >= Y

请注意，这会将df.y中的每个条目与x进行比较。

如果您打算将x中的每个条目与df.y中的每个条目进行比较，请将X扩展到2D，然后进行比较：out = X[:,None] >= Y。

高效地将pandas系列的float与pandas系列的numpy数组进行比较

编辑

1 个答案: