当分布处于指数族时,它在物理上是什么意思

时间:2017-05-16 14:37:59

标签: machine-learning statistics

我已经在Standford的在线讲座中学习机器学习了几天,在讲座4中,讲师介绍了GLM(广义线性模型)和指数族。

x,y,p分别代表特征,结果被预测,分布参数。

他总结说,如果我们假设P(y | x; p)是指数族,如果问题是二项分类问题,即y∈{0,1},则P(1 | x; p )是后勤功能。

我对数学部分没问题,但是当我们假设P(y | x; p)处于指数族时,我不知道它是什么意思,条件是什么实际上这个假设是真的吗?

我知道中心极限理论,它说的是一个随机变量 其他独立随机变量的总和将近似于高斯分布,是否与我的问题有关?

1 个答案:

答案 0 :(得分:0)

指数分布族包括概率密度(或概率质量)函数可以根据f(x | T)= h(x)c(T)exp(sum(w_i(T)t_i)表示的所有概率分布(x)))对于变量x和参数矢量T,每个w_i只是参数的函数,每个t_i只是数据的函数。对我们来说,形式本身可能并不重要。

指数族包括相当多的规范概率分布:正态,指数,伽马,卡方,β,Dirichlet,伯努利,分类,泊松,威斯哈特和反威斯哈特。因此,它实际上是一种非常适合各种数据流程的表单。

那么为什么要把它作为一个模型假设呢?事实证明,指数族有一大堆很好的数学性质,毫无疑问,这些属性都是你所使用的模型所采用的。因此,简而言之,假设指数族很可能只是一个数学假设,使数学可行。好消息是,这不是一个非常严格的假设。