我想用条件进行左连接(如果left.values> = right.lo&left.values 因此,我将以下代码编写为: 所以我的助手功能是: 奇怪的行为是: 如果仅运行这行代码,则需要4秒钟,这通常很长,这是由于第3步所致,而我的左db尺寸仅为36000x300,我的右db尺寸为20x5,权利是独一无二的。 但是,如果我在这一行之后运行那一行代码(也需要4秒钟),则只需花费0.1秒钟: 可能是什么原因? 我右边的数据库如下:
import pandas as pd
import numpy as np
data = pd.read_pickle("C:/Quang/base_datalake_net.pkl")
t_BEH_VitMaxi = pd.read_csv("table/VEH_VitMaxi.csv", delimiter=';', decimal=',')
t_VEH_Age = pd.read_csv("table/VEH_Age.csv", delimiter=';', decimal=',')
def left_cond_merge_simple_help(left, right, left_on, right_on_lo, right_on_hi):
left.reset_index(drop=True, inplace=True)
right.reset_index(drop=True, inplace=True)
a = left[left_on].values
bh = right[right_on_hi].values
bl = right[right_on_lo].values
i, j = np.where((a[:, None] >= bl) & (a[:, None] < bh))
result = pd.concat([left.loc[i].reset_index(drop=True),
right.loc[j].reset_index(drop=True)],
axis=1).append(
left[~np.in1d(np.arange(len(left)), np.unique(i))], ignore_index=True)
return result
def left_cond_merge_simple(left, right, left_on, right_on_lo, right_on_hi):
temp = pd.DataFrame({left_on: left[left_on].unique()})
temp = left_cond_merge_simple_help(left=temp, right=right, left_on=left_on,
right_on_lo=right_on_lo, right_on_hi=right_on_hi)
return left.merge(temp, on=left_on, how='left')
% time data = left_cond_merge_simple(left=data, right=t_VEH_Age, left_on='VEH_Age',
right_on_lo='lo', right_on_hi='hi')
% time data = left_cond_merge_simple(left=data, right=t_BEH_VitMaxi, left_on='VEH_VitMaxi',
right_on_lo='lo', right_on_hi='hi')