基于列值的随机采样熊猫

Question

我有文件（A，B，C等），每个文件有12,000个数据点。我已将文件分成1000个批次，并计算每个批次的值。所以现在对于每个文件，我们有12个值，它们被加载到pandas Data Frame中（如下所示）。

    file    value_1     value_2
0   A           1           43
1   A           1           89
2   A           1           22
3   A           1           87
4   A           1           43
5   A           1           89
6   A           1           22
7   A           1           87
8   A           1           43
9   A           1           89
10  A           1           22
11  A           1           87
12  A           1           83
13  B           0           99
14  B           0           23
15  B           0           29
16  B           0           34
17  B           0           99
18  B           0           23
19  B           0           29
20  B           0           34
21  B           0           99
22  B           0           23
23  B           0           29
24  B           0           34
25  C           1           62
-   -           -           -
-   -           -           -

现在作为下一步，我需要随机选择一个文件，并为该文件随机选择一个包含4个批次的值为value_1。后者，我相信可以用df.sample（）完成，但我不确定如何随机选择文件。我尝试使用np.random.choice（data ['file']。unique（）），但看起来不正确。

提前感谢您的帮助。我对pandas和python很新。

Answer 1

如果我理解你想要了解的内容，以下内容应该有所帮助：

HasDate

Answer 2

这是一个相当漫长的回答，它具有很大的灵活性并使用我生成的一些随机数据。我还在dataframe添加了一个字段来表示是否已使用该行。

生成数据

import pandas as pd
from string import ascii_lowercase
import random

random.seed(44)

files = [ascii_lowercase[i] for i in range(4)]
value_1 = random.sample(range(1, 10), 8)

files_df = files*len(value_1)
value_1_df = value_1*len(files)
value_1_df.sort()
value_2_df = random.sample(range(100, 200), len(files_df))

df = pd.DataFrame({'file' : files_df,
                 'value_1': value_1_df,
                 'value_2': value_2_df,
                  'used': 0})

随机选择文件

len_to_run = 3 #change to run for however long you'd like
batch_to_pull = 4
updated_files = df.loc[df.used==0,'file'].unique()

for i in range(len_to_run): #not needed if you only want to run once
    file_to_pull = ''.join(random.sample(updated_files, 1))
    print 'file ' + file_to_pull
    for j in range(batch_to_pull): #pulling 4 values
        updated_value_1 = df.loc[(df.used==0) & (df.file==file_to_pull),'value_1'].unique()
        value_1_to_pull = random.sample(updated_value_1,1)
        print 'value_1 ' + str(value_1_to_pull)
        df.loc[(df.file == file_to_pull) & (df.value_1==value_1_to_pull),'used']=1

file a
value_1 [1]
value_1 [7]
value_1 [5]
value_1 [4]
file d
value_1 [3]
value_1 [2]
value_1 [1]
value_1 [5]
file d
value_1 [7]
value_1 [4]
value_1 [6]
value_1 [9]