Question

我有12列+ 1目标（二进制）和大约4000行的数据集。我需要将它分成火车（70％），验证（20％）和测试（10％）设置。

数据集的采样率非常低（类别1的0％到5％的95％）因此我需要保持每个样本中目标的比例。

我能够以某种方式拆分数据集，但我不知道如何保持比率。

我正在使用子集Wine Quality数据here

Answer 1

如果您可以访问Matlab的统计处理工具箱，则可以使用cvpartition 功能

来自cvpartition的matlab帮助 - ：

c = cvpartition（group，'HoldOut'，p）使用组中的类信息随机将观察分成训练集和分层测试集;也就是说，训练和测试集的类比例与组中的大致相同。

您可以将该功能应用两次以获得三个分区。此函数保留原始类分布。

Answer 2

到目前为止，我想出了这个，如果有人知道更好的解决方案，请告诉我。我按目标列拆分数据集，然后将这两个拆分中的每一个进一步拆分为前70％，接下来的20％和最后10％的数据，然后合并在一起。之后，我分割了特征和目标。

%split in 0/1 samples
winedataset_0 = winedataset(winedataset(:, 13) == 0, :);
winedataset_1 = winedataset(winedataset(:, 13) == 1, :);

%train
split_tr_0 = round(length(winedataset_0)*0.7);
split_tr_1 = round(length(winedataset_1)*0.7);
train_0 = winedataset_0(1:split_tr_0,:);
train_1 = winedataset_1(1:split_tr_1,:);
train_set = vertcat(train_0, train_1);
train_set = train_set(randperm(length(train_set)),:);

%valid
split_valid_0 = split_tr_0 + round(length(winedataset_0)*0.2);
split_valid_1 = split_tr_1 + round(length(winedataset_1)*0.2);
valid_0 = winedataset_0(split_tr_0+1:split_valid_0,:);
valid_1 = winedataset_1(split_tr_1+1:split_valid_1,:);
valid_set = vertcat(valid_0, valid_1);
valid_set = valid_set(randperm(length(valid_set)),:);

%test
test_0 = winedataset_0(split_valid_0+1:end,:);
test_1 = winedataset_1(split_valid_1+1:end,:);
test_set = vertcat(test_0, test_1);
test_set = test_set(randperm(length(test_set)),:);


%Split into X and y
X_train = train_set(:,1:12);
y_train = train_set(:,13);

X_valid = valid_set(:,1:12);
y_valid = valid_set(:,13);

X_test = test_set(:,1:12);
y_test = test_set(:,13);

Matlab分为火车/有效/测试集并保持比例

2 个答案: