在每行数据帧上调用类似apply的函数,每行包含多个参数

时间:2013-02-25 02:09:32

标签: r dataframe

我有一个包含多列的数据框。对于数据框中的每一行,我想调用该行上的函数,并且该函数的输入使用该行中的多个列。例如,假设我有这个数据,这个testFunc接受两个args:

> df <- data.frame(x=c(1,2), y=c(3,4), z=c(5,6))
> df
  x y z
1 1 3 5
2 2 4 6
> testFunc <- function(a, b) a + b

假设我想将此testFunc应用于列x和z。所以,对于第1行,我想要1 + 5,对于第2行,我想要2 + 6.有没有办法在不编写for循环的情况下执行此操作,可能使用apply函数系列?

我试过了:

> df[,c('x','z')]
  x z
1 1 5
2 2 6
> lapply(df[,c('x','z')], testFunc)
Error in a + b : 'b' is missing

但是有错误,有什么想法吗?

编辑:我想要调用的实际函数不是简单的总和,而是power.t.test。我只使用+ b作为示例。最终目标是能够做这样的事情(用伪代码编写):

df = data.frame(
    delta=c(delta_values), 
    power=c(power_values), 
    sig.level=c(sig.level_values)
)

lapply(df, power.t.test(delta_from_each_row_of_df, 
                        power_from_each_row_of_df, 
                        sig.level_from_each_row_of_df
))

其中结果是每行df的power.t.test的输出向量。

12 个答案:

答案 0 :(得分:117)

您可以将apply应用于原始数据的子集。

 dat <- data.frame(x=c(1,2), y=c(3,4), z=c(5,6))
 apply(dat[,c('x','z')], 1, function(x) sum(x) )

或者如果你的函数只是sum,请使用矢量化版本:

rowSums(dat[,c('x','z')])
[1] 6 8

如果您想使用testFunc

 testFunc <- function(a, b) a + b
 apply(dat[,c('x','z')], 1, function(x) testFunc(x[1],x[2]))

编辑要按名称访问列而不是索引,您可以执行以下操作:

 testFunc <- function(a, b) a + b
 apply(dat[,c('x','z')], 1, function(y) testFunc(y['z'],y['x']))

答案 1 :(得分:101)

data.framelist,所以......

对于向量化函数 do.call通常是一个不错的选择。但争论的名称开始发挥作用。这里使用args x和y代替a和b调用testFunc...允许传递不相关的args而不会导致错误:

do.call( function(x,z,...) testFunc(x,z), df )

对于非向量化函数mapply将起作用,但您需要匹配args的顺序或明确命名它们:

mapply(testFunc, df$x, df$z)

有时apply会起作用 - 因为当所有args属于同一类型时,将data.frame强制转换为矩阵不会因更改数据类型而导致问题。你的例子是这样的。

如果要在其中传递参数的另一个函数中调用函数,则有一个比这些更明智的方法。如果你想走这条路,研究lm()身体的第一行。

答案 2 :(得分:28)

使用mapply

> df <- data.frame(x=c(1,2), y=c(3,4), z=c(5,6))
> df
  x y z
1 1 3 5
2 2 4 6
> mapply(function(x,y) x+y, df$x, df$z)
[1] 6 8

> cbind(df,f = mapply(function(x,y) x+y, df$x, df$z) )
  x y z f
1 1 3 5 6
2 2 4 6 8

答案 3 :(得分:17)

使用dplyr

的新答案

如果要应用的功能是矢量化的, 然后你可以使用mutate包中的dplyr函数:

> library(dplyr)
> myf <- function(tens, ones) { 10 * tens + ones }
> x <- data.frame(hundreds = 7:9, tens = 1:3, ones = 4:6)
> mutate(x, value = myf(tens, ones))
  hundreds tens ones value
1        7    1    4    14
2        8    2    5    25
3        9    3    6    36

使用plyr

的旧答案

以我的拙见, 最适合该任务的工具是mdply包中的plyr

示例:

> library(plyr)
> x <- data.frame(tens = 1:3, ones = 4:6)
> mdply(x, function(tens, ones) { 10 * tens + ones })
  tens ones V1
1    1    4 14
2    2    5 25
3    3    6 36

不幸的是,正如Bertjan Broeksema指出的那样, 如果不使用数据框的所有列,则此方法将失败 在mdply电话中。 例如,

> library(plyr)
> x <- data.frame(hundreds = 7:9, tens = 1:3, ones = 4:6)
> mdply(x, function(tens, ones) { 10 * tens + ones })
Error in (function (tens, ones)  : unused argument (hundreds = 7)

答案 4 :(得分:10)

许多函数已经是向量化,因此不需要任何迭代(for循环或*pply函数)。您的testFunc就是一个这样的例子。您只需致电:

  testFunc(df[, "x"], df[, "z"])

一般情况下,我建议首先尝试这种矢量化方法,看看它们是否能为您提供预期的结果。


或者,如果您需要将多个参数传递给未矢量化的函数,mapply可能就是您要查找的内容:

  mapply(power.t.test, df[, "x"], df[, "z"])

答案 5 :(得分:10)

其他人已正确指出mapply是为此目的而制作的,但(为了完整起见)概念上更简单的方法就是使用for循环。

for (row in 1:nrow(df)) { 
    df$newvar[row] <- testFunc(df$x[row], df$z[row]) 
}

答案 6 :(得分:4)

这是另一种方法。它更直观。

我认为一些关键方面没有考虑到,我指出后代,是apply()让你轻松进行行计算,但只适用于矩阵(所有数字)数据

列上的操作仍可用于数据帧:

as.data.frame(lapply(df, myFunctionForColumn()))

要对行进行操作,我们首先进行转置。

tdf<-as.data.frame(t(df))
as.data.frame(lapply(tdf, myFunctionForRow()))

缺点是我相信R会复制你的数据表。 这可能是一个记忆问题。 (这真的很难过,因为在程序上简单的tdf只是原始df的迭代器,因此节省了内存,但R不允许指针或迭代器引用。)

另外,一个相关的问题是如何操作数据帧中的每个单独的单元格。

newdf <- as.data.frame(lapply(df, function(x) {sapply(x, myFunctionForEachCell()}))

答案 7 :(得分:4)

我来到这里寻找tidyverse函数名称 - 我知道它存在。为(我的)未来参考和tidyverse发烧友添加此内容:purrrlyr:invoke_rows(旧版本中为purrr:invoke_rows)。

与原始问题中的标准统计数据方法相关联,broom包可能会有所帮助。

答案 8 :(得分:3)

@ user20877984的答案很棒。由于他们总结得比我之前的答案好得多,所以这是我(可能仍然是粗制滥造)尝试应用这个概念:

以基本方式使用do.call

powvalues <- list(power=0.9,delta=2)
do.call(power.t.test,powvalues)

处理完整的数据集:

# get the example data
df <- data.frame(delta=c(1,1,2,2), power=c(.90,.85,.75,.45))

#> df
#  delta power
#1     1  0.90
#2     1  0.85
#3     2  0.75
#4     2  0.45

lapply每个指定值行的power.t.test函数:

result <- lapply(
  split(df,1:nrow(df)),
  function(x) do.call(power.t.test,x)
)

> str(result)
List of 4
 $ 1:List of 8
  ..$ n          : num 22
  ..$ delta      : num 1
  ..$ sd         : num 1
  ..$ sig.level  : num 0.05
  ..$ power      : num 0.9
  ..$ alternative: chr "two.sided"
  ..$ note       : chr "n is number in *each* group"
  ..$ method     : chr "Two-sample t test power calculation"
  ..- attr(*, "class")= chr "power.htest"
 $ 2:List of 8
  ..$ n          : num 19
  ..$ delta      : num 1
  ..$ sd         : num 1
  ..$ sig.level  : num 0.05
  ..$ power      : num 0.85
... ...

答案 9 :(得分:2)

data.table也具有一种非常直观的方法:

library(data.table)

sample_fxn = function(x,y,z){
    return((x+y)*z)
}

df = data.table(A = 1:5,B=seq(2,10,2),C = 6:10)
> df
   A  B  C
1: 1  2  6
2: 2  4  7
3: 3  6  8
4: 4  8  9
5: 5 10 10

可以在括号内调用:=运算符,以使用函数添加新列

df[,new_column := sample_fxn(A,B,C)]
> df
   A  B  C new_column
1: 1  2  6         18
2: 2  4  7         42
3: 3  6  8         72
4: 4  8  9        108
5: 5 10 10        150

使用此方法也很容易接受常量作为参数:

df[,new_column2 := sample_fxn(A,B,2)]

> df
   A  B  C new_column new_column2
1: 1  2  6         18           6
2: 2  4  7         42          12
3: 3  6  8         72          18
4: 4  8  9        108          24
5: 5 10 10        150          30

答案 10 :(得分:0)

如果data.frame列是不同类型,apply()有问题。 关于行迭代的细微之处在于apply(a.data.frame, 1, ...)的作用 当列是不同类型时,隐式类型转换为字符类型; 例如。因子和数字列。这是一个使用因子的例子 在一列中修改数字列:

mean.height = list(BOY=69.5, GIRL=64.0)

subjects = data.frame(gender = factor(c("BOY", "GIRL", "GIRL", "BOY"))
         , height = c(71.0, 59.3, 62.1, 62.1))

apply(height, 1, function(x) x[2] - mean.height[[x[1]]])

减法失败,因为列被转换为字符类型。

一种解决方法是将第二列反向转换为数字:

apply(subjects, 1, function(x) as.numeric(x[2]) - mean.height[[x[1]]])

但是可以通过保持列分开来避免转换 并使用mapply()

mapply(function(x,y) y - mean.height[[x]], subjects$gender, subjects$height)

mapply()是必需的,因为[[ ]]不接受矢量参数。专栏 通过将向量传递给[],可以在减法之前完成迭代, 通过更难看的代码:

subjects$height - unlist(mean.height[subjects$gender])

答案 11 :(得分:0)

一个非常好的函数是adply中的plyr,特别是如果要将结果附加到原始数据帧时,尤其如此。此功能及其堂兄ddply为我省去了很多麻烦和麻烦!

df_appended <- adply(df, 1, mutate, sum=x+z)

或者,您可以调用所需的函数。

df_appended <- adply(df, 1, mutate, sum=testFunc(x,z))