如何结合训练测试和交叉验证集正确拆分不平衡数据集

Question

上面的图片是我要复制的内容。我只是不知道我是否正在正确的方法。 我正在使用FakeNewsChallenge数据集及其极其不平衡的数据集，并且正在尝试复制和改进论文中使用的方法。

---

同意-7.36％

不同意-1.68％

讨论-17.82％

不相关-73.13％

我以这种方式拆分数据：

（将数据集拆分为67/33）

• 火车67％，测试33％

（进一步的80/20分组训练以进行验证）

• 培训80％，验证20％

（然后使用3倍交叉验证集进行分组训练和验证）

顺便说一句，要获得1.68％的不同意和同意非常困难。

---

这是我遇到的一个问题，因为这对我而言没有任何意义。在80/20拆分中创建的验证集是否也可以按5倍进行分层？

这是我目前所在的位置：

---

将数据分为67％的训练集和33％的测试集

x_train1, x_test, y_train1, y_test = train_test_split(x, y, test_size=0.33)

x_train2, x_val, y_train2, y_val = train_test_split(x_train1, y_train1, test_size=0.20)

skf = StratifiedKFold(n_splits=3, shuffle = True)
skf.getn_splits(x_train2, y_train2)

for train_index, test_index in skf.split(x_train2, y_train2):
  x_train_cros, x_test_cros = x_train2[train_index], x_train2[test_index]
  y_train_cros, y_test_cros = y_train2[train_index], y_train[test_index]

我还要为验证集再次运行skf吗？顺序模型中使用的skf创建的测试测试集在哪里？

---

对我使用的方法的引用：

索塔，阿斯维尼； Priyanka蒂拉克（Tilak）； Simrat Ahluwalia；和Lohia，Nibrat（2018）“伪造新闻检测：一种深度学习方法”，SMU数据科学评论：第1卷。 1：第3条，第10条。 可用位置：https://scholar.smu.edu/datasciencereview/vol1/iss3/10

Answer 1

您需要在函数'train_test_split（）'中添加另一个参数：

x_train1, x_test, y_train1, y_test = train_test_split(x, y, test_size=0.33, stratify = y)

这将使您平均分配所有目标类别。