如何使用scipy.optimize.minimize
进行最大似然回归?我特别想在这里使用minimize
函数,因为我有一个复杂的模型,需要添加一些约束。我目前正在尝试使用以下内容的简单示例:
from scipy.optimize import minimize
def lik(parameters):
m = parameters[0]
b = parameters[1]
sigma = parameters[2]
for i in np.arange(0, len(x)):
y_exp = m * x + b
L = sum(np.log(sigma) + 0.5 * np.log(2 * np.pi) + (y - y_exp) ** 2 / (2 * sigma ** 2))
return L
x = [1,2,3,4,5]
y = [2,3,4,5,6]
lik_model = minimize(lik, np.array([1,1,1]), method='L-BFGS-B', options={'disp': True})
当我运行它时,收敛失败。有谁知道我的代码出了什么问题?
我运行的消息是' ABNORMAL_TERMINATION_IN_LNSRCH'。我正在使用与我在R。
中使用optim
工作的算法相同的算法
答案 0 :(得分:7)
谢谢Aleksander。你的可能性函数是错误的,而不是代码,这是对的。使用我在维基百科上找到的公式,我将代码调整为:
import numpy as np
from scipy.optimize import minimize
def lik(parameters):
m = parameters[0]
b = parameters[1]
sigma = parameters[2]
for i in np.arange(0, len(x)):
y_exp = m * x + b
L = (len(x)/2 * np.log(2 * np.pi) + len(x)/2 * np.log(sigma ** 2) + 1 /
(2 * sigma ** 2) * sum((y - y_exp) ** 2))
return L
x = np.array([1,2,3,4,5])
y = np.array([2,5,8,11,14])
lik_model = minimize(lik, np.array([1,1,1]), method='L-BFGS-B')
plt.scatter(x,y)
plt.plot(x, lik_model['x'][0] * x + lik_model['x'][1])
plt.show()
现在它似乎正在发挥作用。
感谢您的帮助!