Question

我想创建一个从两个信息列表派生的值表，但我想只从第一个列表中获取满足第二个列表中定义的条件的元素。

我在R中有两个列表作为数据帧.DF_A是一个包含总频率计数的文档术语列表。 DF_B是文档列表，其中包含文档中每个单词的频率。

到目前为止，这是我的 R 代码，这让我有了很长的路要走。

library(dplyr)
library(tidytext)

docs = read.csv("~/text.csv")
# > docs
# DOCID                                                      TEXT
# 1  Doc1       blue blue blue blue rose rose hats hats hats hats
# 2  Doc2                                               rose hats
# 3  Doc3  tall tall tall tall tall tall tall tall tall tall tall 
# 4  Doc4                                               cups cups
# 5  Doc5                                                    tall 

my_unigrams <- unnest_tokens(docs, unigram, TEXT, token = "ngrams", n = 1)

DF_A <- my_unigrams %>%
  count(unigram, sort = TRUE)

DF_A
#> DF_A
# A tibble: 5 x 2
# unigram     n
# <chr> <int>
# 1    tall    12
# 2    hats     5
# 3    blue     4
# 4    rose     3
# 5    cups     2

DF_B <- my_unigrams %>%
  count(DOCID, unigram, sort = TRUE)

# > DF_B
# A tibble: 8 x 3
# DOCID unigram     n
# <fctr>   <chr> <int>
# 1   Doc3    tall    11
# 2   Doc1    blue     4
# 3   Doc1    hats     4
# 4   Doc1    rose     2
# 5   Doc4    cups     2
# 6   Doc2    hats     1
# 7   Doc2    rose     1
# 8   Doc5    tall     1


# My goal is a "one hot" table where each document ID is a row name, and the top three most frequent terms are columns (each cell should contain either 1 or 0; basically yes/no that term occurs in that document). I want a table like this:

one_hot_table <- table(DF_B$DOCID,DF_B$unigram)
one_hot_table

# one_hot_table
#     blue  cups hats rose tall
# Doc1    1    0    1    1    0
# Doc2    0    0    1    1    0
# Doc3    0    0    0    0    1
# Doc4    0    1    0    0    0
# Doc5    0    0    0    0    1

＆＃34; one_hot_table＆＃34;以上是接近我想要的，除了我想要一个子集：只是最常用的单词（＆＃34;高＆＃34;，＆＃34;蓝＆＃34;，＆＃34;帽子＆＃34;）。

我希望我能删除自动不想要的列。在我的真实表中，有数千列，我发现删除列的方法要求我命名列。我不想为成千上万的专栏做这件事。理想情况下，我想要一个方法，将one_hot_table作为输入，在DF_A中查找每个列名，并生成一个新的数据框，其中前三个最常见。像这样：

new_one_hot_table <- function(one_hot_table, DF_A, 3)

非常感谢任何帮助。

Answer 1

好吧，如果你不介意将DF_B修改为新的数据表，那么一个简单的方法就是：

DF_C <- DF_B %>% 
  semi_join(DF_A %>% 
              head(3), by = "unigram")

new_one_hot_table <- table(DF_C$DOCID,DF_C$unigram)

如果你仍然想要你的函数方法，我认为这应该工作（任意称为hot_tablr）：

hot_tablr <- function(one_hot_table, DF_A, select = 3){

  # First get a vector of column names of interest
  top <- DF_A %>% 
    head(select) %>% 
    pull(unigram)

  # Now only select columns of interest
  new <- one_hot_table[, top]

  return(new)

}

希望我能正确理解你的问题。希望很明显，但我正按照建议使用dplyr包。

从R中的频率计数列表创建一个热表

1 个答案: