Question

我有一个包含3列的数据框：

reading_df：

    c1  c2  c3
    1   1   0.104986
    1   1   0.628024
    0   0   0.507727
    1   1   0.445931
    0   1   0.867830
    1   1   0.455478
    1   0   0.271283
    0   1   0.759124
    1   0   0.382079
    0   1   0.572290

对于3列（c3）中的每个元素，我必须找到多少个项目（行）：

c1的值相同
具有相同的c2值
给定行的c3中的值与每行之间的差值必须小于0.3

例如，在c4列中编写答案

   c1  c2  c3        c4
    1   1   0.104986  0
    1   1   0.628024  2
    0   0   0.507727  0
    1   1   0.445931  0
    0   1   0.867830  2
    1   1   0.455478  1
    1   0   0.271283  0
    0   1   0.759124  1
    1   0   0.382079  1
    0   1   0.572290  0

我将数据帧转换为numpy数组，并使用带有Labmda的map函数来获得最佳性能。

reading_df['c4']=np.zeros(df.shape[0])

X=np.array(reading_df)

c1=0
c2=1
c3=2
dT=0.3

res_map =  map(lambda el: len( X[

    ( X[:,n_time] > (el[n_time]-dT) ) 

    & ( X[:,n_time] < (el[n_time])  )

    & ( X[:,n_feature2] == (el[n_feature2]) )

    & ( X[:,n_feature1] == (el[n_feature1]) )

                                    ][:,n_time]), X)

但是当我尝试将地图对象res_map转换为列表时：

result=list(res_map)
result_dataframe=pd.DataFrame({'c4':result })

我的代码变得非常慢。对于包含1 * 10 ^ 6个以上元素的大数据框，要花很长时间。

我必须使用哪个功能？哪些最佳实践可以使python更快地工作？

Answer 1

不知道问题背后的确切逻辑是什么，但我认为您想groupby并计算diff

如果我正确理解了您的问题，则可以在many-to-many和c1每组中进行c2比较。

这是您可以建立的问题的起点：

# first calculate the difference between rows in c3 column while applying groupby
df['difference'] = df.groupby(['c1', 'c2']).c3.diff()

# then add a count column which counts the size of each group
df['count'] = df.groupby(['c1', 'c2']).c1.transform('count')

# after that create a conditional field based on the values in the other columns
df['c4'] = np.where((df.c1 == df.c2) & (df.difference < 0.3), 1, 0)

希望这有助于提高速度（向量化）并更接近解决您的问题。

转换数据框的最快方法

1 个答案: