我需要将我的数据集随机拆分为训练,验证和测试集,如本文(R: How to split a data frame into training, validation, and test sets?)所示,但需要随机链接到拆分主题ID ,而不是整个数据框架。
当应用回答该问题的代码时,它会完全随机地分割我的数据框,但我已经堆叠了ID并且需要它们保持在一起,否则一个主题数据将分布在不同的集合上。
对不起,如果这听起来有点令人困惑。在这里我的数据来解释这个问题:
df <- c(Contact.ID, Date.Time, Age, Gender, Attendance)
Contact.ID Date.Time Age Gender Attendance
1 A 2012-07-06 18:54:48 37 Male 30
2 A 2012-07-06 20:50:18 37 Male 30
3 A 2012-08-14 20:18:44 37 Male 30
4 B 2012-03-15 16:58:15 27 Female 40
5 B 2012-04-18 10:57:02 27 Female 40
6 B 2012-04-18 17:31:22 27 Female 40
7 B 2012-04-18 18:37:00 27 Female 40
8 C 2013-10-22 17:46:07 40 Male 5
9 C 2013-10-27 11:21:00 40 Male 5
10 D 2012-07-28 14:48:33 20 Female 12
如果我随机分割这些数据,主题A的条目可以,例如,我的测试集中有两个,我的验证集中有一个。但我需要随机拆分不同的ID,而不是整个数据帧的随机分割,我无法弄清楚如何连接它们。
答案 0 :(得分:3)
您从the previous train/validate/test question发布的代码会为数据框的每一行分配一个列车,验证或测试标签,然后根据每行的标签进行拆分:
spec = c(train = .6, test = .2, validate = .2)
g = sample(cut(
seq(nrow(df)),
nrow(df)*cumsum(c(0,spec)),
labels = names(spec)
))
res = split(df, g)
相反,您可以为ID因子变量的每个唯一级别分配一个标签,并根据分配给每行ID的标签进行拆分:
set.seed(144)
spec = c(train = .6, test = .2, validate = .2)
g = sample(cut(
seq_along(unique(df$Contact.ID)),
length(unique(df$Contact.ID))*cumsum(c(0,spec)),
labels = names(spec)
))
(res = split(df, g[as.factor(df$Contact.ID)]))
# $train
# Contact.ID Date.Time Age Gender Attendance
# 1 A 2012-07-0618:54:48 37 Male 30
# 2 A 2012-07-0620:50:18 37 Male 30
# 3 A 2012-08-1420:18:44 37 Male 30
# 8 C 2013-10-2217:46:07 40 Male 5
# 9 C 2013-10-2711:21:00 40 Male 5
#
# $test
# Contact.ID Date.Time Age Gender Attendance
# 4 B 2012-03-1516:58:15 27 Female 40
# 5 B 2012-04-1810:57:02 27 Female 40
# 6 B 2012-04-1817:31:22 27 Female 40
# 7 B 2012-04-1818:37:00 27 Female 40
#
# $validate
# Contact.ID Date.Time Age Gender Attendance
# 10 D 2012-07-2814:48:33 20 Female 12
请注意,这会更改拆分比例的解释:分配给训练集的60%现在是唯一主题ID的60%,而不是行的60%。