汇总直方图数据

时间:2017-02-09 07:35:05

标签: r histogram

我有一些“东西”的不同独特模型的许多属性的直方图。 当我进行实验时,我发现了多个独特的模型。我需要根据实验的整个样本集找到每个属性的直方图。

示例:

如下所示,数据框df包含一堆id's,每个id都有一堆名为prop1prop2的属性等等。

set.seed(1)
df <- data.frame(id = sample(1:5, 6, replace = TRUE),
                     prop1 = rep(c("A", "B"), 3),
                     prop2 = sample(c(TRUE, FALSE), 6, replace = TRUE),
                     prop3=sample(3:6, 6, replace = TRUE))

> df
  id prop1 prop2 prop3
1  2     A FALSE     4
2  2     B  TRUE     4
3  3     A FALSE     6
4  1     B  TRUE     5
5  3     A FALSE     3
6  3     B FALSE     4

对于eqch unique id,会为每个属性计算直方图,并将结果存储在列表l1中,该列表按id为基础保存每个属性的直方图。

# Create histogram for each property
df[-1] <- lapply(df[-1], as.factor)
fun1 <- function(df, n){as.data.frame(t(sapply(split(df, df$id), function(i) 
                                                         prop.table(table(i[,n])))))}
l1 <- sapply(2:ncol(df), function(i)fun1(df, i))
names(l1) <- names(df[-1])

> l1
$prop1
          A         B
1 0.0000000 1.0000000
2 0.5000000 0.5000000
3 0.6666667 0.3333333

$prop2
  FALSE TRUE
1   0.0  1.0
2   0.5  0.5
3   1.0  0.0

$prop3
          3         4 5         6
1 0.0000000 0.0000000 1 0.0000000
2 0.0000000 1.0000000 0 0.0000000
3 0.3333333 0.3333333 0 0.3333333

现在,我在新实验中有一组新的ids重复。我需要使用id's中的参考数据计算l1集合中每个属性的直方图。

某些id's可能不存在; id's中可能存在原始dfl1中不存在的某些ids - 4ids中的l1中的id 1}} - 但是这些可以从直方图计算中排除,但是被捕获为排除id的数据帧,并排除每个ids <- sample(1:4, 7, replace = TRUE) > ids [1] 2 3 1 3 3 2 4 的计数。

> l2
$prop1
      A     B
1 0.500 0.500

$prop2
    FALSE    TRUE
1   0.667  0.333

$prop3
      3     4     5     6
1 0.167 0.500 0.167 0.167 

更新 预期输出 - 我将其显示为列表 - 可以使用任何其他更合适的数据结构。

ids

基础R溶液首选。

更新:澄清输出的计算方式。

ids中的计数 - 一个1,2,3,3和一个4.由于我们没有4的任何数据,有用的ids是1,2和3,总计数为6他们之间prop1

对于idsA = (1*0.0 + 2*0.5 + 3*0.6667)/6 = 0.5 B = (1*1.0 + 2*0.5 + 3*0.3333)/6 = 0.5 的汇总直方图可以按如下方式计算

public void onBind(Artist artist) {
   artistName.setText(artist.getName());
}

public void setArtistName (String name )
{

}

1 个答案:

答案 0 :(得分:2)

我有一个解决方案,确实涉及其他包(dplyrtidyr)。因为我正在重新整理(熔化)您在列表中生成的数据。之后,我将数据传播到一个漂亮的data.frame。您可以使用标准化版本的数据。 (dffunction(x)内的library(dplyr) library(tidyr) res <- do.call(rbind, lapply(ids, function(id) do.call(cbind, lapply(names(l1),function(x) { df <- l1[[x]] %>% rownames_to_column("id") df <- df[df$id == id,] %>% gather(key, value, -id) if(nrow(df) > 0){ df[,'key'] <- paste0(x,'.',df[,'key']) df <- df %>% spread(key,value) } df })) ) )

> res
  id   prop1.A   prop1.B id prop2.FALSE prop2.TRUE id   prop3.4   prop3.5 prop3.6
1  2 0.6666667 0.3333333  2   0.6666667  0.3333333  2 0.3333333 0.6666667       0
2  3 1.0000000 0.0000000  3   1.0000000  0.0000000  3 0.0000000 0.0000000       1
3  2 0.6666667 0.3333333  2   0.6666667  0.3333333  2 0.3333333 0.6666667       0
4  2 0.6666667 0.3333333  2   0.6666667  0.3333333  2 0.3333333 0.6666667       0
5  2 0.6666667 0.3333333  2   0.6666667  0.3333333  2 0.3333333 0.6666667       0

结果:

prop.table

您也可以在没有dplyr功能且仅propsum <- df %>% gather(key,value,-id) %>% mutate(n = 1) %>% complete(nesting(key,value),id, fill=list(n = 0)) %>% group_by(id, key, value) %>% summarise(n = sum(n)) %>% group_by(id, key) %>% mutate(p = n/sum(n) ,col = paste0(key,'.',value)) %>% ungroup() %>% select(id, col, p) %>% spread(col,p) propsum[match(ids,propsum$id),] 这是一个更简洁的解决方案的情况下实现此目的。

# A tibble: 10 × 8
      id   prop1.A   prop1.B prop2.FALSE prop2.TRUE   prop3.4   prop3.5 prop3.6
   <int>     <dbl>     <dbl>       <dbl>      <dbl>     <dbl>     <dbl>   <dbl>
1      2 0.6666667 0.3333333   0.6666667  0.3333333 0.3333333 0.6666667       0
2     NA        NA        NA          NA         NA        NA        NA      NA
3     NA        NA        NA          NA         NA        NA        NA      NA
4     NA        NA        NA          NA         NA        NA        NA      NA
5      3 1.0000000 0.0000000   1.0000000  0.0000000 0.0000000 0.0000000       1
6     NA        NA        NA          NA         NA        NA        NA      NA
7      2 0.6666667 0.3333333   0.6666667  0.3333333 0.3333333 0.6666667       0
8      2 0.6666667 0.3333333   0.6666667  0.3333333 0.3333333 0.6666667       0
9     NA        NA        NA          NA         NA        NA        NA      NA
10     2 0.6666667 0.3333333   0.6666667  0.3333333 0.3333333 0.6666667       0

结果:

#option 1       
data.frame(id = ids) %>% inner_join(df, by='id') %>% 
  gather(key, value, -id) %>%
  group_by(key, value) %>%
  mutate(n = 1) %>%
  complete(nesting(key,value),id, fill=list(n = 0)) %>%
  summarise(n = sum(n)) %>%
  group_by(key) %>%
  mutate(p = n/sum(n))

由于您添加了预期结果,因此我不确定此结果的生成方式。我给你两个选择:

选项1 :根据给定的ID使用源数据进行相乘。

    key value     n          p
  <chr> <chr> <dbl>      <dbl>
1 prop1     A     9 0.69230769
2 prop1     B     4 0.30769231
3 prop2 FALSE     9 0.69230769
4 prop2  TRUE     4 0.30769231
5 prop3     4     4 0.30769231
6 prop3     5     8 0.61538462
7 prop3     6     1 0.07692308    

导致:

#option 2
df %>% gather(key,value,-id) %>% mutate(n = 1) %>%
  complete(nesting(key,value),id, fill=list(n = 0)) %>%
  group_by(id, key, value) %>%
  summarise(n = sum(n)) %>%
  group_by(id, key) %>%
  mutate(p = n/sum(n)) %>%
  inner_join(data.frame(id = ids), by='id') %>% 
  group_by(key, value) %>%
  summarise(p = mean(p)) 

选项2 : 使用汇总数据并计算平均比例。

Source: local data frame [7 x 3]
Groups: key [?]

    key value         p
  <chr> <chr>     <dbl>
1 prop1     A 0.7333333
2 prop1     B 0.2666667
3 prop2 FALSE 0.7333333
4 prop2  TRUE 0.2666667
5 prop3     4 0.2666667
6 prop3     5 0.5333333
7 prop3     6 0.2000000

导致:

Here are lines that are either unchanged from the common
ancestor, or cleanly resolved because only one side changed.
<<<<<<< yours:sample.txt
Conflict resolution is hard;
let´s go shopping.
=======
Git makes conflict resolution easy.
>>>>>>> theirs:sample.txt
And here is another line that is cleanly resolved or unmodified.