Question

import pandas as pd 
import numpy as np
data=[]
columns = ['A', 'B', 'C']
data = [[0, 10, 5], [0, 12, 5], [2, 34, 13], [2, 3, 13], [4, 5, 8], [2, 4, 8], [1, 2, 4], [1, 3, 4], [3, 8, 12],[4,10,12],[6,7,12]]

df = pd.DataFrame(data, columns=columns)
print(df)

#     A   B   C
# 0   0  10   5
# 1   0  12   5
# 2   2  34  13
# 3   2   3  13
# 4   4   5   8
# 5   2   4   8
# 6   1   2   4
# 7   1   3   4
# 8   3   8  12
# 9   4  10  12
# 10  6   7  12

现在，我要创建两个数据帧df_train和df_test，以使列“ C”中没有两个相同的数字。例如。在C列中，元素5应该位于训练集中或测试集中。因此，行[0，10，5]，[0，12，5]，[2，34，13]将进入训练集中或测试集，但不能同时使用两者。C列元素的这种选择应随机进行。

我在此步骤上受阻，无法继续。

Answer 1

首先sample您的df，然后groupby C获得cumcount来区分同一组内的重复值。

s=df.sample(len(df)).groupby('C').cumcount()
s
Out[481]: 
5     0
7     0
2     0
1     0
0     1
6     1
10    0
4     1
3     1
8     1
9     2
dtype: int64
test=df.loc[s[s==1].index]
train=df.loc[s[s==0].index]
test
Out[483]: 
   A   B   C
0  0  10   5
6  1   2   4
4  4   5   8
3  2   3  13
8  3   8  12
train
Out[484]: 
    A   B   C
5   2   4   8
7   1   3   4
2   2  34  13
1   0  12   5
10  6   7  12

Answer 2

问题还不清楚两个训练和测试集数据帧的预期输出是什么样。

无论如何，我会尽力回答。

我认为您可以首先对数据框值进行排序：

df_sorted = df.sort_values(['C'], ascending=[True])
print(df_sorted)

Out[1]:
    A   B   C
6   1   2   4
7   1   3   4
0   0  10   5
1   0  12   5
4   4   5   8
5   2   4   8
8   3   8  12
9   4  10  12
10  6   7  12
2   2  34  13
3   2   3  13

然后拆分已排序的数据框：

uniqe_c = df_sorted['C'].unique().tolist()
print(uniqe_c)

Out[2]:
[4, 5, 8, 12, 13]

train_set = df[df['C'] <= uniqe_c[2]]
val_set = df[df['C'] > uniqe_c[2]]
print(train_set)

# Train set dataframe

Out[3]:
   A   B  C
0  0  10  5
1  0  12  5
4  4   5  8
5  2   4  8
6  1   2  4
7  1   3  4

print(val_set)

# Test set dataframe

Out[4]:
    A   B   C
2   2  34  13
3   2   3  13
8   3   8  12
9   4  10  12
10  6   7  12

从11个样本中，拆分后，有6个样本进入了训练集，有5个样本进入了验证集。因此，在总共两个数据帧的总和中检查并没有丢失的样本。

我想将数据框分为带范围的训练和测试集

2 个答案: