Question

我有一个包含大约20,000个观测值的数据框。由此我创建了一个频率为两个变量的列联表。

有了这个，我想进行卡方检验，看看我的两个变量之间是否存在关系。通常这很容易，但许多单元的预期值为0，尽管原始数据帧的大小很大。我想删除任何包含频率小于5的行。

我已经广泛搜索了堆栈交换但我无法找到这个特定问题的解决方案，我或者a）理解（我对R来说相对较新），或者b）使用列联表而不是原始数据框。

非常感谢任何帮助。

编辑：

感谢您的答复贾斯汀。

根据要求，我上传了数据框和列联表的摘录。我还上传了迄今为止尝试过的少量代码，并附上了结果。

数据帧

Department Super
AAP     1
ACS     4
ACE     1
AMA     1
APS     3
APS     2
APS     1
APS     1
ARC     5
ARC     7
ARC     1
BIB     6
BIB     6
BMS     2

所以有两列，第一列是三个字母的部门代码，第二列是一位数整数（1-7）。

列联表

table(department,super)

        1    2   3   4   5   6   7   8
ACS     32  10   7  24  50   7  24  14
AMA      0   4   2   6  10   3  11   1
...

所以带有频率的标准列联表。

到目前为止，我知道我可以创建一个逻辑测试来测试单元格内容是否小于5：

depSupCrosstab <- depSupCrosstab[,2:8]>5

我不知道如何使用这行代码创建的矩阵，如果它们有任何FALSE条目，则删除整行。

希望有所帮助。我担心我是新手，但只有一种方法可以学习......

Answer 1

我担心你的问题会更复杂。卡方检验的假设是每个单元格的预期频率大于5.在您的示例中，您试图选择列联表的每个单元格的计数，即<强>观察频率。预期频率（在零假设下）根据行和列总计数计算，如基本示例here中所示。

按照您的示例，假设的列联表可能如下所示：

ACS <- c(32, 10, 7, 24, 50, 7, 24, 14)
AMA <- c(0, 4, 2, 6, 10, 3, 11, 1)
ARC <- c(6, 10, 12, 3, 12, 23, 10, 2)

tab <- rbind(ACS, AMA, ARC)

如果您筛选的观察计数等于或小于5，您将删除AMA和ARC：

apply(tab,1, function(x) any(x<=5))

  ACS   AMA   ARC 
FALSE  TRUE  TRUE

这在概念上是错误的，因为如上所述，预期频率取决于整个数据。获得exp。计数：

chisq.test(tab, correct=F)$expected

         [,1]      [,2]      [,3]      [,4]      [,5]      [,6]      [,7]
ACS 22.558304 14.247350 12.466431 19.590106 42.742049 19.590106 26.713781
AMA  4.968198  3.137809  2.745583  4.314488  9.413428  4.314488  5.883392
ARC 10.473498  6.614841  5.787986  9.095406 19.844523  9.095406 12.402827
         [,8]
ACS 10.091873
AMA  2.222615
ARC  4.685512

Warning message:
In chisq.test(tab, correct = F): Chi-squared approximation may be incorrect

卡方测试发出警告消息，因为确实有一些带有exp的单元格。计数小于5.但是，如果仅删除AMA，则表的动态（行和列总计）将更改以及所有exp。计数高于5：

chisq.test(tab[-2,], correct=F)$expected

        [,1]      [,2]     [,3]      [,4]     [,5]      [,6]     [,7]
ACS 25.95122 13.658537 12.97561 18.439024 42.34146 20.487805 23.21951
ARC 12.04878  6.341463  6.02439  8.560976 19.65854  9.512195 10.78049
         [,8]
ACS 10.926829
ARC  5.073171

因此，如果您同时删除AMA和ARC，则会丢失重要信息。

您可以尝试运行 Fisher精确测试（请参阅下面的说明）：

fisher.test(tab,simulate.p.value=TRUE,B=10000)

总结：

个别观察到的频率是预期频率的不良指标。观察到的频率可能低于5，但该电池的预期频率将高于5。
在大型列联表中，最多可达到20％的exp。频率低于5，但结果是统计功率损失，因此测试可能无法检测到真实效果。即使在那种情况下，exp。频率不应低于1.
低exp的替代测试。频率是费雪的精确测试。卡方检验统计量近似于卡方分布。如果样本量很大，则这种近似变得更准确，因此需要exp。频率＆gt; 5. Fisher精确检验计算卡方统计量的准确概率，即使样本量很小，但可能计算量更大。不幸的是，对于大于2x2的列联表，您可能需要模拟p值，这有其自身的局限性（这里没有讨论它的空间，但它是一个很好的研究课题）。为模拟（B）选择大量重复，并调整它以查看解决方案的稳健性。

Answer 2

我想我已在相关的question中找到了答案。在这种情况下，apply是你的朋友，因为它可以遍历cols或行。

为您创建一个类似的数据框，然后只选择所有cols>的行。 5，可以使用以下内容：

set.seed(1985)
tosub <- data.frame(matrix(round(runif(n = 80, min = 0, max = 100)), ncol = 8))
head(tosub,2)
x <- apply(tosub[,1:8] > 5, MARGIN = 1, all)
summary(x)
tosub[which(x),]

   X1 X2 X3 X4 X5 X6 X7 X8
1  66 30 72 59 26 69 76 47
2  27 42 26 95 66 14 67 18
4  42 28 93  7 35 35 95 23
5  38 89 69 91 98 91 60 69
9  89 31 91 72 28 31 58 58
10 53 87 27 89 95 37 98 20

根据单元格值删除列联表的行

2 个答案: