寻找范围内的熊猫数据框的交集

Question

我正在从事的项目需要将两个数据帧沿着带有增量的一行合并在一起。基本上，我需要使用一条带有2D非线性线的数据框，并在沿着该线的另一个数据点中找到数据点，加上或减去一个增量。

数据框1（我们要沿其查找点的线）

import pandas as pd

df1 = pd.read_csv('path/to/df1/data.csv')
df1

         x        y
0     0.23     0.54
1     0.27     0.95
2     0.78     1.59
...
97    0.12     2.66
98    1.74     0.43
99    0.93     4.23

数据框2（我们要过滤的数据框，将点保留在一定的增量内）

df2 = pd.read_csv('path/to/df2/data.csv')
df2

          x        y
0      0.21     0.51
1      0.27     0.35
2      3.45     1.19
...
971    0.94     2.60
982    1.01     1.33
993    0.43     2.43

找到粗线

DELTA = 0.03

coarse_line = find_coarse_line(df1, df2, DELTA)
coarse_line

          x        y
0      0.21     0.51
1      0.09     2.68
2      0.23     0.49
...
345    1.71     0.45
346    0.96     0.40
347    0.81     1.62

我已经尝试在许多其他Pandas函数中使用df.loc((df['x'] >= BOTLEFT_X) & (df['x'] >= BOTLEFT_Y) & (df['x'] <= TOPRIGHT_X) & (df['y'] <= TOPRIGHT_Y))，但还没有找到任何可行的方法，而效率却更低（数据集大于200万点）。

Answer 1

采用了一种使用merge()的方法，其中x，y已从 good 曲线df1

放入仓中

1. 生成一条统一线 y = x ^ 2
2. 随机分配少量生成df1
3. 随机生成大量df2，生成的坐标也是原来的三倍
4. 以df1为参考，以使用pd.cut()将x和y坐标的良好范围拆分为bin。占坐标总数1/3的垃圾箱运行良好
5. 将它们标准化回数组，以便在合并时在pd.cut()中再次使用

您可以从散点图中看到，在df2中找到并保持点接近曲线非常合理，

import pandas as pd
import random
import numpy as np
import matplotlib.pyplot as plt

fig, ax = plt.subplots(1,3, sharey=True, sharex=False, figsize=[20,5])
linex = [i for i in range(100)]
liney = [i**2 for i in linex]
df1 = pd.DataFrame({"x":[l*random.uniform(0.95, 1.05) for l in linex], 
              "y":[l*random.uniform(0.95, 1.05) for l in liney]})
df1.plot("x","y", kind="scatter", ax=ax[0])

df2 = pd.DataFrame({"x":[l*random.uniform(0.5, 1.5) for l in linex*3], 
              "y":[l*random.uniform(0.5, 1.5) for l in liney*3]})
df2.plot("x","y", kind="scatter", ax=ax[1])

# use bins on x and y axis - both need to be within range to find
bincount = len(df1)//3
xc = pd.cut(df1["x"], bincount).unique()
yc = pd.cut(df1["y"], bincount).unique()
xc = np.sort([intv.left for intv in xc] + [xc[-1].right])
yc = np.sort([intv.left for intv in yc] + [yc[-1].right])

dfm = (df2.assign(
    xb=pd.cut(df2["x"],xc, duplicates="drop"),
    yb=pd.cut(df2["y"],yc, duplicates="drop"),
).query("~(xb.isna() | yb.isna())") # exclude rows where df2 falls outside of range of df1
 .merge(df1.assign(
    xb=pd.cut(df1["x"],xc, duplicates="drop"),
    yb=pd.cut(df1["y"],yc, duplicates="drop"),
 ),
        on=["xb","yb"],
        how="inner",
        suffixes=("_l","_r")
 )
)
dfm.plot("x_l", "y_l", kind="scatter", ax=ax[2])
print(f"graph 2 pairs:{len(df2)} graph 3 pairs:{len(dfm)}")