Question

我正在使用Python进行MLE实现。我的对数似然函数有5个要估计的参数，其中两个约束它们必须在0和1之间。我能够使用statsmodels包中的GenericLikelihoodModel模块实现MLE，但我不知道如何使用约束执行此操作。具体来说，我的负对数似然函数是

def ekop_ll(bs,alpha,mu,sigma,epsilon_b,epsilon_s):
    ll=[]
    for bsi in bs:
        b=bsi[0]
        s=bsi[1]
        part1 = (1-alpha)*stats.poisson.pmf(b,epsilon_b)*stats.poisson.pmf(s,epsilon_s)
        part2 = alpha*sigma*stats.poisson.pmf(b,epsilon_b)*stats.poisson.pmf(s,mu+epsilon_s)
        part3 = alpha*(1-sigma)*stats.poisson.pmf(b,mu+epsilon_b)*stats.poisson.pmf(s,epsilon_s)
        li = part1+part2+part3
        if part1+part2+part3 == 0:
            li = 10**(-100)
        lli = np.log(li)
        ll.append(lli)
    llsum = -sum(ll)
    return llsum

并且MLE优化类是

class ekop(GenericLikelihoodModel):
    def __init__(self,endog,exog=None,**kwds):
        if exog is None:
            exog = np.zeros_like(endog)
        super(ekop,self).__init__(endog,exog,**kwds)
    def nloglikeobs(self,params):
        alpha = params[0]
        mu = params[1]
        sigma = params[2]
        epsilon_b = params[3]
        epsilon_s = params[4]
        ll = ekop_ll(self.endog,alpha=alpha,mu=mu,sigma=sigma,epsilon_b=epsilon_b,epsilon_s=epsilon_s)
        return ll
    def fit(self, start_params=None, maxiter=10000, maxfun=5000, **kwds):
         if start_params == None:
             # Reasonable starting values
             alpha_default = 0.5
             mu_default = np.mean(self.endog)
             sigma_default = 0.5
             epsilon_b_default = np.mean(self.endog)
             epsilon_s_default = np.mean(self.endog)
             start_params =[alpha_default,mu_default,sigma_default,epsilon_b_default,epsilon_s_default]
         return super(ekop, self).fit(start_params=start_params,
                                      maxiter=maxiter, maxfun=maxfun,
                                      **kwds)

主要是

if __name__ == '__main__':
    bs = #my data#
    mod = ekop(bs)
    res = mod.fit()

我不知道如何修改我的代码以合并约束。我希望alpha和sigma介于0和1之间。

Answer 1

获得满足约束的内部解决方案的一种常用方法是转换参数，以便优化不受约束。

例如：可以使用Logit函数转换开放区间（0,1）中的约束，例如：

https://github.com/statsmodels/statsmodels/blob/master/statsmodels/miscmodels/count.py#L243

我们可以使用mulinomial logit来表示概率，参数是（0,1）并加起来。

在广义线性模型中，我们使用链接函数对预测均值施加类似限制，请参阅statsmodels / genmod / families / links.py。

如果约束可以绑定，那么这不起作用。 Scipy限制了优化器，但那些尚未连接到statsmodels LikelihoodModel类。

相关的一边：scipy有一个全局优化器，如果有多个局部最小值，它可以很好地工作，它可以连接到LikelihoodModels并且可以使用fit中的方法参数进行选择。

Answer 2

恕我直言，这是一个数学问题，简单的答案是你应该改造你的问题。

要专门解决这个问题 - 您应该创建一个从原始模型派生的特殊案例模型，并在其中固有地定义约束。然后计算特殊情况模型的MLE将为您提供您正在寻找的估计值。

但是 - 对于具有约束的导出模型，估计会膨胀，而对于一般情况模型，不会像在原始模型中那样对两个参数进行约束。

实际上，您将用于参数估计的任何方法，如MCMC，人工神经网络，基于牛顿的迭代方法，以及其他所有方法，都可以为推导和约束模型提供估算。

Answer 3

确实这是一个数学问题，而不是编程问题。我设法通过用约束转换参数来解决这个问题，即。 alpha和sigma进入alpha_hat和sigma_hat，

    alpha = 1/(1+np.exp(-alpha_hat))
    sigma = 1/(1+np.exp(-sigma_hat))

这样我们就可以估计没有约束的alpha_hat和sigma_hat。

用Python约束MLE

3 个答案: