Question

我在对数据集应用某些过滤器时遇到问题，不知道该怎么做。我有一个由 7 列组成的数据框。一列，participant_id 标识参与者（每个参与者唯一的数值），第二列指示每个参与者属于哪个组 (group)，第三列称为 trial标识试验（每个参与者执行一项任务的多次试验）和四列var 1、var 2、var 3、var 4（对应于记录的四个变量的数值）每次试验）。有参与者进行了 100 多次试验，参与者进行了大约 50 次试验。

简短示例：

       participant_id        group         trial       var1        var2       var3        var4        
         189                   A             1      -0.231046    0.245615  -0.581238   -0.593562  
         189                   A             2      -0.231046    0.245615  -0.581238   -0.593562
         189                   A             3      -0.231046    0.245615  -0.581238   -0.593562
         189                   A             4      -0.231046    0.245615  -0.581238   -0.593562
         345                   B             1         NaN       0.245615  -0.581238   -0.593562
         345                   B            378     -0.231046    0.245615  -0.581238   -0.593562
         227                   A             1      -0.231046    0.245615  -0.581238   -0.593562
         227                   A             1      -0.231046    0.245615  -0.581238   -0.593562
         227                   A             2      -0.231046    0.245615  -0.581238   -0.593562
         432                   B            517     -0.231046    0.245615     NaN      -0.593562
         432                   B             2      -0.231046    0.245615     NaN      -0.593562
         432                   B            333     -0.231046    0.245615  -0.581238   -0.593562

4 名参与者的示例。请注意，试用编号不是唯一的，因为两个不同的参与者可以有一个试用“1”，同一个参与者也可以有多个试用“1”。（不要介意每行的 var 列的值都相同，在实际数据集中并非如此）。真实数据集是 10000 行。

我需要做的是根据每个唯一参与者的值保留前 n 个分位数试验 var1。我正在考虑使用 pandas .quantile(n) 函数，但我不知道如何告诉它应该单独分析每个参与者，而不是整行来获取分位数。

感谢任何帮助。

Answer 1

apply() 在一个组上传递每个组的 Dataframe
提供了使用 lambda 以及独立函数的示例
上述示例数据没有任何特征来证明其功能

df = pd.read_csv(io.StringIO("""       participant_id        group         trial       var1        var2       var3        var4        
         189                   A             1      -0.231046    0.245615  -0.581238   -0.593562  
         189                   A             2      -0.231046    0.245615  -0.581238   -0.593562
         189                   A             3      -0.231046    0.245615  -0.581238   -0.593562
         189                   A             4      -0.231046    0.245615  -0.581238   -0.593562
         345                   B             1         NaN       0.245615  -0.581238   -0.593562
         345                   B            378     -0.231046    0.245615  -0.581238   -0.593562
         227                   A             1      -0.231046    0.245615  -0.581238   -0.593562
         227                   A             1      -0.231046    0.245615  -0.581238   -0.593562
         227                   A             2      -0.231046    0.245615  -0.581238   -0.593562
         432                   B            517     -0.231046    0.245615     NaN      -0.593562
         432                   B             2      -0.231046    0.245615     NaN      -0.593562
         432                   B            333     -0.231046    0.245615  -0.581238   -0.593562
"""), sep="\s+")

def f(d):
    return d.quantile()

df.groupby("participant_id", as_index=False).apply(f)
df.groupby("participant_id", as_index=False).apply(lambda d: d.quantile())

更新

问题是如何在组内利用 Pandas 分位数功能，由第一部分回答
这特别说明了如何使用这种方法过滤到分位数内的行
为了演示目的，生成了一个形状相同的随机数据集

# generate a useful dataset to analyse...
s = 100
df = pd.DataFrame({"participant_id":np.random.choice([189,227,345,432],s),
             "trial":np.random.randint(1,6,s),
             "group":np.random.choice(["A","B"],s),
              "var1":np.random.rand(s),
              "var2":np.random.rand(s),
              "var3":np.random.rand(s),
              "var4":np.random.rand(s),
             })

# split into 10 quantile bins and take 0th bin
# split into 10 quantile bins and take 0th bin
df.groupby("participant_id").apply(
    lambda d: d.loc[pd.qcut(d.var1, q=10, retbins=False, labels=False).le(0)]).droplevel(0)

<头>

	participant_id	试用	组	var1	var2	var3	var4
13	189	3	A	0.0273875	0.87134	0.555792	0.67094
85	189	1	A	0.0106758	0.352578	0.481009	0.910989
91	189	4	A	0.00835706	0.644102	0.990459	0.816669
4	227	5	B	0.10132	0.870446	0.389972	0.313782
71	227	4	B	0.0221867	0.17566	0.659024	0.910838
74	227	1	A	0.0762526	0.458995	0.492384	0.556408
28	345	5	A	0.130674	0.0336628	0.0429884	0.799307
82	345	1	B	0.234522	0.371108	0.451911	0.54528
93	345	4	B	0.272915	0.594262	0.392285	0.56374
16	432	2	B	0.0403964	0.880132	0.45438	0.0466626
18	432	5	A	0.0884496	0.304541	0.969059	0.949315
22	432	2	B	0.115796	0.0371306	0.631284	0.537881
55	432	2	B	0.102859	0.0416843	0.761466	0.56438

根据另一列的值按分位数过滤熊猫数据框

1 个答案:

更新