pandas.merge性能有显着差异吗?

时间:2019-06-04 08:03:53

标签: python pandas join merge

我想用条件进行左连接(如果left.values> = right.lo&left.values

因此,我将以下代码编写为:

  1. 在左侧数据库中删除键的重复项
  2. 使用正确的数据库进行上述条件合并
  3. 然后将结果数据库与最初的左侧数据库合并

所以我的助手功能是:

import pandas as pd
import numpy as np

data = pd.read_pickle("C:/Quang/base_datalake_net.pkl")

t_BEH_VitMaxi = pd.read_csv("table/VEH_VitMaxi.csv", delimiter=';', decimal=',')
t_VEH_Age = pd.read_csv("table/VEH_Age.csv", delimiter=';', decimal=',')


def left_cond_merge_simple_help(left, right, left_on, right_on_lo, right_on_hi):
    left.reset_index(drop=True, inplace=True)
    right.reset_index(drop=True, inplace=True)
    a = left[left_on].values
    bh = right[right_on_hi].values
    bl = right[right_on_lo].values
    i, j = np.where((a[:, None] >= bl) & (a[:, None] < bh))
    result = pd.concat([left.loc[i].reset_index(drop=True),
                        right.loc[j].reset_index(drop=True)],
                       axis=1).append(
        left[~np.in1d(np.arange(len(left)), np.unique(i))], ignore_index=True)
    return result


def left_cond_merge_simple(left, right, left_on, right_on_lo, right_on_hi):
    temp = pd.DataFrame({left_on: left[left_on].unique()})
    temp = left_cond_merge_simple_help(left=temp, right=right, left_on=left_on,
                                       right_on_lo=right_on_lo, right_on_hi=right_on_hi)
    return left.merge(temp, on=left_on, how='left')

奇怪的行为是:

如果仅运行这行代码,则需要4秒钟,这通常很长,这是由于第3步所致,而我的左db尺寸仅为36000x300,我的右db尺寸为20x5,权利是独一无二的。

% time data = left_cond_merge_simple(left=data, right=t_VEH_Age, left_on='VEH_Age', 
                                     right_on_lo='lo', right_on_hi='hi')

但是,如果我在这一行之后运行那一行代码(也需要4秒钟),则只需花费0.1秒钟:

% time data = left_cond_merge_simple(left=data, right=t_BEH_VitMaxi, left_on='VEH_VitMaxi',
                                     right_on_lo='lo', right_on_hi='hi')

可能是什么原因?

我右边的数据库如下:

enter image description here

0 个答案:

没有答案