使用回归树进行子组识别

时间:2017-12-02 22:31:56

标签: r tree regression partitioning party

我对最近一篇关于“生物统计学教程:临床试验中数据驱动的亚组识别和分析”(DOI:10.1002 / sim.7064)的论文非常感兴趣,我想在“性能”一节中重现结果。基于树的回归方法“。但是,分区树似乎没有得到我想要的结果。

set.seed(123)
n <- 1000
x1 <- rnorm(n)
x2 <- runif(n)
t <- rbinom(n,1,0.5)
x3 <- rbinom(n,1,0.3)
x4 <- rnorm(n)
z <-1+ 2*x1-1.8*x2+(x1>=-0.3)*(x2>=0.4)*t-(x1< -0.3)*(x2<0.4)*t
pr = 1/(1+exp(-z))
y = rbinom(n,1,pr)
dt <- data.frame(x1,x2,x3,x4,t,y)

library(party)
mb <- mob(y~t-1|x1+x2+x3+x4,
  data=dt,
  model = glinearModel,
  family = binomial(),
  control=mob_control(minsplit=100))
plot(mb)

regression tree

上图显示了这个数字。它应该在x1和x2上以模拟中定义的-0.3和0.4的截止值进行分割。但是,它似乎没有这样做..x1主导了节点分区,x2似乎不是分区过程的重要决定因素。代码有什么问题?

2 个答案:

答案 0 :(得分:4)

您指定的基于模型的GLM树尝试适合以下模型: logit(prob)= alpha_tree(x1-x4)* t,其中alpha_tree(x1-x4)是来自树的子组特定系数(基于分区变量x1-x4),用于治疗指标t。因此,该模型不包括x1和x2的截距或全局主效应的可能性 - 如数据中所模拟的那样。由于这些主要影响非常明显,除了通过进一步分裂捕获这些影响之外,该模型没有其他可能性。因此,您的示例中的大树。

在经典的MOB框架中(Zeileis et al。 2008,Journal of Computational and Graphical Statistics,doi:10.1198/106186008X319331),唯一的选择是在模型中包含每个相关的回归量被分区,即logit(mu)= beta0_tree(x1-x4)+ beta1_tree(x1_x4)* x1 + beta2_tree(x1-x4)* x2 + alpha_tree(x1-x4)* t。这有效并且将仅针对治疗效果α* t检测亚组,但是,当然,由于其重新估计每个亚组中的β系数,因此失去了一些效率。 Seibold et al。(2016a),The International Journal of Biostatistics,doi:10.1515/ijb-2015-0032中提供了专门针对亚组分析的这种方法的讨论。

最近,我们建议对MOB进行改编,我们称其为部分加性线性模型树的PALM树(Seibold et al。 2016b,http://arxiv.org/abs/1612.07498)。这允许您在问题中模拟的logit(mu)= beta0 + beta1 * x1 + beta2 * x2 + alpha_tree(x1-x4)* t类型的模型。

基于经典GLM的MOB树和PALM树的实现分别在glmtree()中以palmtree()partykit提供,建议使用旧party实施。将这些应用于上面的模拟数据,得到以下结果。首先,重要的是所有分类分区变量也标记为factor变量(为了选择正确的参数不稳定性测试):

dt <- transform(dt, x3 = factor(x3))

然后,我们可以使您模拟的模型只适合特定于子组的处理效果,x1和x2的全局主效应,以及基于x1,x2,x3,x4的分区。

library("partykit")
tr1 <- palmtree(y ~ t - 1 | x1 + x2 | x1 + x2 + x3 + x4, data = dt,
  family = binomial, minsize = 100)
tr1
## Partially additive generalized linear model tree (family: binomial)
## 
## Model formula:
## y ~ t - 1 | x1 + x2 + x3 + x4
## 
## Fitted party:
## [1] root
## |   [2] x1 <= -0.21797: n = 399
## |                t 
## |       -0.9245345 
## |   [3] x1 > -0.21797: n = 601
## |               t 
## |       0.6033979 
## 
## Number of inner nodes:    1
## Number of terminal nodes: 2
## Number of parameters per node: 1
## Objective function (negative log-likelihood): 432.5717
## 
## Linear fixed effects (from palm model):
## (Intercept)          x1          x2 
##   0.7140397   1.7589675  -1.1335779 

因此,这涵盖了数据生成过程中最重要的部分,但未能检测到与x2的交互。

plot(tr1)

tr1

我开始设置其他种子或使用基于BIC的后修剪(结合大的显着性水平),有时也可以发现与x2的相互作用。据推测,更大的样本也会更频繁地产生“真正的”树。因此,该模型似乎原则上能够适合您模拟的模型,而不是在这个特定的环境中。

就个人而言,我总是会让拦截的治疗效果因子组而异。因为如果有任何我忽略的主要影响,这可能会产生更好的模型。如果每个子组中都包含一个截距,那么将yt编码为因子会更好,从而在可视化中产生更好的图:

dt <- transform(dt, y = factor(y), t = factor(t))
tr2 <- palmtree(y ~ t | x1 + x2 | x1 + x2 + x3 + x4, data = dt,
  family = binomial, minsize = 100)
tr2
## Partially additive generalized linear model tree (family: binomial)
## 
## Model formula:
## y ~ t | x1 + x2 + x3 + x4
## 
## Fitted party:
## [1] root
## |   [2] x1 <= -0.26515: n = 382
## |       (Intercept)          t1 
## |         0.9839353  -1.1376981 
## |   [3] x1 > -0.26515: n = 618
## |       (Intercept)          t1 
## |         0.5331386   0.6566111 
## 
## Number of inner nodes:    1
## Number of terminal nodes: 2
## Number of parameters per node: 2
## Objective function (negative log-likelihood): 432.3303
## 
## Linear fixed effects (from palm model):
##        x1        x2 
##  1.964397 -1.078958 

对于这些数据,这几乎与上面的模型相同。但显示更容易阅读,显示两组之间绝对治疗效果的巨大差异:

plot(tr2)

tr2

最后,如果使用普通的旧MOB而不可能包含加性效应,我们应该在每个子组中包含回归量x1和x2:

tr3 <- glmtree(y ~ t + x1 + x2 | x1 + x2 + x3 + x4, data = dt,
  family = binomial, minsize = 100)
tr3
## Generalized linear model tree (family: binomial)
## 
## Model formula:
## y ~ t + x1 + x2 | x1 + x2 + x3 + x4
## 
## Fitted party:
## [1] root
## |   [2] x1 <= -0.26515: n = 382
## |       (Intercept)          t1          x1          x2 
## |         0.5570219  -1.0511317   1.2533975  -1.3899679 
## |   [3] x1 > -0.26515: n = 618
## |       (Intercept)          t1          x1          x2 
## |         0.3573041   0.6943206   2.2910053  -0.9570403 
## 
## Number of inner nodes:    1
## Number of terminal nodes: 2
## Number of parameters per node: 4
## Objective function (negative log-likelihood): 429.2406

同样,这基本上找到了与以前相同的子组。但是,它会失去一点效率,因为必须在每个子组中估计更多的回归系数,而只有t系数在子组之间真正发生变化。

plot(tr3, tp_args = list(which = 1))

tr3

答案 1 :(得分:0)

set.seed(123)
n <- 1000
x1 <- rnorm(n)
x2 <- runif(n)
t <- rbinom(n,1,0.5)
x3 <- rbinom(n,1,0.3)
x4 <- rnorm(n)
z <-1+ 2*x1-1.8*x2+
  (x1>=-0.3)*(x2>=0.4)*t-
  (x1< -0.3)*(x2<0.4)*t
pr = 1/(1+exp(-z))
y = as.factor(rbinom(n,1,pr))
dt <- data.frame(x1,x2,x3=as.factor(x3),
  x4,t=as.factor(t),y)

治疗效果在两个协变量空间应该具有统计学意义:

dt1 <- dt[x1>=-0.3&x2>=0.4,]
dt2 <- dt[x1< -0.3&x2<0.4,]
chisq.test(table(dt1$t,dt1$y))
Pearson's Chi-squared test with Yates' continuity correction

data:  table(dt1$t, dt1$y)
X-squared = 11.684, df = 1, p-value = 0.0006305

prop.table(table(dt1$t,dt1$y),1)
chisq.test(table(dt2$t,dt2$y))
prop.table(table(dt2$t,dt2$y),1)
chisq.test(table(dt$t,dt$y))

我使用glmtree()函数,结果与输出不同,左侧正确识别与x2的交互,但右侧无法捕获x2上的分区。

library(partykit)
tr1 <- glmtree(y~t+x1+x2 | x1+x2+x3+x4,
  data=dt,
  family = binomial())
plot(tr1,tp_args = list(which = 1))

model tree