编程+统计问题:
上下文 我目前正在建立模型模拟(基于代理的模型),其中每个代理(读:人)作为一系列变量(即性别,种族,军事状况,收入等级,教育等)。
这不是一个家庭作业问题,这是我试图解决工作的一个问题,因此我不需要对所有内容进行硬编码,并且会更轻松,更快地对我的模型进行实施更改。
变量基本上按如下方式分解:
gender: 0 = female, 1 = male
race: 1 = white, 2 = black, 3 = hispanic, 4 = other
marital status: 1 = married, 2 = divorced, 3 = no married
income: 1 = <20k, 2 = 20k-75k, 3= 75+k
education: 1 = <HS, 2 = HS, 3 = >HS
在我的数据集中,我想预测,例如,吸烟状况(0 =非吸烟者,1 =吸烟者)。
容易,做逻辑回归。主要影响的编程不会太困难,因为人口模型如下:
SmokingStatus = b_0 + b_1(gender1) + b_2(race2) + b_3(race3) + b_4(race4) + ... + e
问题1: 从上面的等式可以看出,分类变量创建了k-1个虚拟变量。基本上,统计程序将创建以下虚拟变量(以种族为例):race2,race3,race4。每个都有一个beta估计值(即相对于参考组的ln(OR),race1)。
问题1: 我如何编写我的java程序来计算回归输出中吸烟状态的概率(我所拥有的表是SAS输出),而不在我的代理类中创建相应的虚拟变量。
问题2: 当我在模型中有交互项时,这个问题变得更糟,因为参数估计是每个变量的虚拟变量的组合。例如,在上面的人口模型中,性别和种族之间的交互术语将是:
SmokingStatus = b_0 + b_1(gender1) + b_2(race2) + b_3(race3) + b_4(race4) + B_5(gender1race2) + B_6(gender1race3) + B_7(gender1race4) ... + e
问题2: 鉴于这种增加的复杂性,最好的方法是什么?
我的最终目标: 我正在尝试编写一个java程序,它将接收变量及其参数估计的(csv)文件,并基本上“插入值”以生成我的响应变量的概率(例如吸烟状态)。
是的,我知道在插入所有值后,我将通过以下方式转换我的答案:
Math.exp(logitP)/(1 + Math.exp(logitP))
我当前(和可怕的)解决方案涉及将所有虚拟变量初始化为0,然后执行一系列if语句以指定值1,然后将所有虚拟对象乘以相应的beta估计值(许多术语将等同于到0)
例如:
int race2 = 0;
int race3 = 0;
int race4 = 0;
int sex0 = 0;
// race
if (alcoholAgent.getRace() == 2) {race2 = 1;}
else if (alcoholAgent.getRace() == 3) {race3 = 1;}
else if (alcoholAgent.getRace() == 4) {race4 = 1;}
// sex female is reference group == 0
if (alcoholAgent.getGender() == 1) {sex0 = 1;}
// age2-6_race2-4
if ((alcoholAgent.getAgeCat() == 2) && (alcoholAgent.getRace()==2)) {age2race2 = 1;}
else if ((alcoholAgent.getAgeCat() == 2) && (alcoholAgent.getRace()==3)) {age2race3 = 1;}
else if ((alcoholAgent.getAgeCat() == 2) && (alcoholAgent.getRace()==4)) {age2race4 = 1;}
else if ((alcoholAgent.getAgeCat() == 3) && (alcoholAgent.getRace()==2)) {age3race2 = 1;}
else if ((alcoholAgent.getAgeCat() == 3) && (alcoholAgent.getRace()==3)) {age3race3 = 1;}
else if ((alcoholAgent.getAgeCat() == 3) && (alcoholAgent.getRace()==4)) {age3race4 = 1;}
else if ((alcoholAgent.getAgeCat() == 4) && (alcoholAgent.getRace()==2)) {age4race2 = 1;}
else if ((alcoholAgent.getAgeCat() == 4) && (alcoholAgent.getRace()==3)) {age4race3 = 1;}
else if ((alcoholAgent.getAgeCat() == 4) && (alcoholAgent.getRace()==4)) {age4race4 = 1;}
else if ((alcoholAgent.getAgeCat() == 5) && (alcoholAgent.getRace()==2)) {age5race2 = 1;}
else if ((alcoholAgent.getAgeCat() == 5) && (alcoholAgent.getRace()==3)) {age5race3 = 1;}
else if ((alcoholAgent.getAgeCat() == 5) && (alcoholAgent.getRace()==4)) {age5race4 = 1;}
else if ((alcoholAgent.getAgeCat() == 6) && (alcoholAgent.getRace()==2)) {age6race2 = 1;}
else if ((alcoholAgent.getAgeCat() == 6) && (alcoholAgent.getRace()==3)) {age6race3 = 1;}
else if ((alcoholAgent.getAgeCat() == 6) && (alcoholAgent.getRace()==4)) {age6race4 = 1;}
答案 0 :(得分:1)
任何使用分类变量数值的模型最多都会产生误导。在什么意义上,种族= 2“大于”种族= 1?当然,没有任何意义。我的建议是抛弃逻辑回归。
由于分类变量没有实际排序,因此您可以做的最好的是查找表。只需创建一个由分类变量索引的多维表,并计算落入表中每个bin的示例,以查找每个输出类别中示例的比例。该比例是输入变量组合的输出类别的概率。
查找表考虑了变量的所有交互。缺点是表格元素的数量可能非常大。您可能能够将输出类别的概率计算为来自较小表的概率的乘积(即,每个表具有较少的索引)。这就是所谓的“朴素贝叶斯”模型;它假定输入变量(或它们的组)在给定输出类别时是独立的。