Question

假设我有数据帧df1，其中包含两列 - A＆amp; B. A的值表示较低的范围，B的值表示较高的范围。

我还有另一个包含两列的数据框--C＆amp; D包含不同的数字范围。

  C     D
12.34  15.90
13.68  19.13
33.5   35.60
35.12  38.76
50.6   59.1

现在我想在df1中列出df2中属于组（在低范围和高范围之间）的所有对。

最终输出应该是这样的 -

     Key                Values
(10.5, 20.5)  [(12.34, 15.90), (13.68, 19.13)]
(30.5, 40.5)  [(33.5, 35.60), (35.12, 38.76)]
(50.5, 60.5)  [(50.6, 59.1)]

解决方案应该是高效的，因为我有5000组范围和85000个不同范围的数字。

Answer 1

我的计算机上的速度并不快（约30秒），但如果您有多个核心，可以使用multiprocessing包轻松加速。

生成数据：

def get_fake(n):
    df = pd.DataFrame(np.random.rand(n * 2).reshape(-1, 2))
    df.loc[:, 1] += 1
    return df

df1 = get_fake(200)
df2 = get_fake(90000)

然后是处理部分：

from collections import defaultdict
result = defaultdict(list)
for index, start, stop in df1.itertuples():
    subdf = df2[(start < df2.iloc[:, 0]) & (df2.iloc[:, 1] < stop)]
    result[(start, stop)] += subdf.values.tolist()

结果是一个字典，但如果需要可以轻松转换为系列。

Answer 2

如果使用interval index即

，这将很容易

idx = pd.IntervalIndex.from_arrays(df['A'],df['B'])
keys = df.values.tolist()
values = df2.groupby(df.loc[idx.get_indexer(df2['C'])].index).apply(lambda x : x.values)

new_df = pd.DataFrame({'key': keys , 'value': values})

          key                            value
0  [10.5, 20.5]  [[12.34, 15.9], [13.68, 19.13]]
1  [30.5, 40.5]   [[33.5, 35.6], [35.12, 38.76]]
2  [50.5, 60.5]                   [[50.6, 59.1]]

根据区间索引访问数据将为您提供密钥，以便您可以分组和汇总，即

df.loc[idx.get_indexer(df2['C'])]
     A     B
0  10.5  20.5
0  10.5  20.5
1  30.5  40.5
1  30.5  40.5
2  50.5  60.5

Answer 3

一种解决方案是使用apply，例如：

# first create your output DF with the keys from your df with A and B
df = pd.DataFrame({'Key':[(a,b) for a,b in df1.itertuples(index=False)]})
# define a function to find the range in df2 within the range from the Keys column
def find_range( key, df_2):
    mask = (key[0] <= df_2['C']) & (key[1] >= df_2['D'])
    return [(c,d) for c,d in df_2[mask].itertuples(index=False)]
#now create the column Values with apply
df['Values'] = df['Key'].apply(find_range, args=(df2,))
# output
            Key                           Values
0  (10.5, 20.5)  [(12.34, 15.9), (13.68, 19.13)]
1  (30.5, 40.5)                   [(33.5, 35.6)]

注意：我假设您的数据中C列始终低于D，否则，您必须更改函数中的掩码以检查C和D是否都在键[0]和键[1]内。另外，我没有你所有的输入，所以第1行的值与你显示的不同，只是输入差异。

Answer 4

请尝试以下代码：

df = pd.DataFrame()
df['Key'] = [(row['A'],row['B']) for idx,row in df1.iterrows()]
values_col_test = [(c1,c2) for c1,c2 in df2.itertuples(index=False)]
values_col = []

for i in range(0,len(values_col_test),2):
     try:
          values_col.append(list(values_col_test[i:i+2]))
     except:
          values_col.append(list(values_col_test[i]))

df['Value'] = values_col
print(df)

输出：

            Key                           Value
0  (10.5, 20.5)   [(2.34, 11.9), (3.68, 19.13)]
1  (30.5, 40.5)  [(33.5, 35.6), (35.12, 38.76)]
2  (50.5, 60.5)                  [(50.6, 59.1)]

如何列出属于一组范围的所有数字对？

4 个答案: