我的磁盘上有8GB CSV文件。 每行有一个“匹配项”。
“匹配”由一些数据组成，例如id，date和winner。但是它也有10位玩家和他们的所有数据。这些存储在participants.0.stats.visionScore，participants.1.stats.visionScore，...，participants.0.stats.assists，...，participants.9.stats.assists，...中，我认为您已经掌握了模式。只是participants.{number}.stats.{variable_name}。每个参与者实际上都有数百个统计数据；这就是为什么我总共约有4,000列。
我这样读取数据：
> d <- fread("Matches.csv")
> head(d)
participants.1.stats.totalDamageDealt
1: 118504
2: 20934
3: 76639
4: 123932
5: 160561
6: 237046
participants.8.stats.totalDamageTaken participants.9.stats.totalPlayerScore
1: 18218 0
2: 12378 0
3: 46182 0
4: 19340 0
5: 30808 0
6: 36194 0
... [there are thousands of lines I omit here] ...
当然，我现在想要一种数据表示形式，其中一行对应一位参与者。我想象这样的结果：
> [magic]
> head(d)
participant stats.totalDamageDealt
1: 1 118504
2: 2 190143
3: 3 46700
4: 4 60787
5: 5 78108
6: 6 124761
stats.totalDamageTaken stats.totalPlayerScore
1: 18218 0
2: 15794 0
3: 34578 0
4: 78771 0
5: 16749 0
6: 11540 0
...
但是所有可用的方法，例如meld，cast和reshape，都需要我手动命名所有列。即使将patterns的{{1}}用于meld，我最终也不得不为每个参与者命名所有数百列。有没有办法使这东西在R中变长？
答案 0 :(得分：0)
我不是100％地确定我了解数据的布局方式，但是我认为我掌握了。从示例数据中，参与者1看起来具有来自原始数据的totalDamageDealt的多行数据，并且结果不需要聚合。如果不是这样，则可能需要执行不同的步骤。我必须制作自己的样本数据才能尝试运行此数据。如果您要发布一组涵盖所有可能性的最少数据，将很有帮助。
否则，这里有一些方法可以使数据完全冗长以提取参与者信息，然后再次将其扩展为所需的格式。如果您在进行数据扩展时需要进行任何汇总，则可能需要在dcast步骤中进行。
library(data.table)
library(stringr)
# Create example data
dt <- data.table(participant.1.stats.visionScore = c(1,1.1,1.2,1.3,1.4,1.5),
participant.1.stats.totalDamageDealt = c(7.1,8.1,9.1,10.1,11.1,12.1),
participant.2.stats.visionScore = c(2,2.1,2.2,2.3,2.4,2.5),
participant.2.stats.totalDamageDealt = c(7.2,8.2,9.2,10.2,11.2,12.2))
# Make data totally long (not wide at all)
dt <- melt(dt,measure.vars = names(dt))
# Separate participant and stat details into columns
dt[,participant := variable %>% str_extract("(?<=^participant\\.)\\d+")]
dt[,stat := variable %>% str_extract("(?<=.stats.).+")]
# Remove variable for cleanup
dt[,variable := NULL]
# Create an index to create a unique key in order to be able to dcast without aggregating
dt[,index := 1:.N, by = list(participant,stat)]
# dcast to make the data wide again
dt <- dcast(dt,index + participant ~ stat, value.var = "value")
# Sort to make it easier for a human to view the table
dt <- dt[order(participant)]
# index participant totalDamageDealt visionScore
# 1: 1 1 7.1 1.0
# 2: 2 1 8.1 1.1
# 3: 3 1 9.1 1.2
# 4: 4 1 10.1 1.3
# 5: 5 1 11.1 1.4
# 6: 6 1 12.1 1.5
# 7: 1 2 7.2 2.0
# 8: 2 2 8.2 2.1
# 9: 3 2 9.2 2.2
# 10: 4 2 10.2 2.3
# 11: 5 2 11.2 2.4
# 12: 6 2 12.2 2.5
答案 1 :(得分：0)
好的，使用您提供的数据样本：
library(data.table)
setDT(d)
d <- melt(d, measure = patterns("^participants"), value.name = "value")
d <- d[, `:=` (ID = gsub(".*?\\.(\\d+)\\..*","\\1", variable),
stats = gsub(".*?(stats\\..*)$","\\1", variable))
][, .(variable, value, ID, stats)]
d <- dcast(d, ID ~ stats, value.var= "value", fun.aggregate = sum)
编辑：将其重新编写为data.table唯一的速度解决方案
请注意，您的源数据中还有一些其他列，例如participantIdentities.6.player.accountId，这些列是您未处理的，因此我已将它们排除在外。如果需要将它们包括在内，则可以将它们添加到patterns或id.vars中的melt中。
一个注释：您强制转换的所有值都必须是数字，否则dcast将失败。我相信这将是您完整数据集的问题。这意味着您需要将participants.1.highestAchievedSeasonTier之类的列正确地标识为id.vars中的melt，或者将它们从dcast中排除。
产生的结果（我只是粘贴许多的前4列）
ID participants.4.timeline.xpPerMinDeltas.20-30 stats.goldEarned stats.perk3Var1
1 1 0 0 0
2 4 NA 0 3475
3 7 0 0 0
4 8 0 0 0
5 9 0 105872 0
答案 2 :(得分：0)
我找到了一个答案，即使在处理如此大量的数据的情况下，它也非常有效。实际上，我猜想这种情况与R中一样有效：
cn <- names(d)
pc <- cn[which(grepl("participants.", cn))]
ppcn <- substring(pc[0:(length(pc)/10)], 16)
d_long <- reshape(d, direction='long', varying=pc, timevar='participant', times=c('participants.0', 'participants.1', 'participants.2', 'participants.3', 'participants.4', 'participants.5', 'participants.6', 'participants.7', 'participants.8', 'participants.9'), v.names=ppcn)
其背后的想法是用一些额外的代码行编写reshape函数的参数，以便R可以知道我真正在说的是什么列。
使用此解决方案，我的长d（无双关语）被创建（1）一步而无需临时可能的大表，并且（2）没有类型转换，包括所有类型的列。