我正在使用pandas 0.11.0
(数据处理)和statsmodels 0.4.3
进行逻辑回归,以便在Mac OSX Lion上进行实际回归。
我将运行~2,900种不同的逻辑回归模型,需要将结果输出到csv文件并以特定方式格式化。
目前,我只知道做print result.summary()
将结果(如下所示)打印到shell:
Logit Regression Results
==============================================================================
Dep. Variable: death_death No. Observations: 9752
Model: Logit Df Residuals: 9747
Method: MLE Df Model: 4
Date: Wed, 22 May 2013 Pseudo R-squ.: -0.02672
Time: 22:15:05 Log-Likelihood: -5806.9
converged: True LL-Null: -5655.8
LLR p-value: 1.000
===============================================================================
coef std err z P>|z| [95.0% Conf. Int.]
-------------------------------------------------------------------------------
age_age5064 -0.1999 0.055 -3.619 0.000 -0.308 -0.092
age_age6574 -0.2553 0.053 -4.847 0.000 -0.359 -0.152
sex_female -0.2515 0.044 -5.765 0.000 -0.337 -0.166
stage_early -0.1838 0.041 -4.528 0.000 -0.263 -0.104
access -0.0102 0.001 -16.381 0.000 -0.011 -0.009
===============================================================================
我还需要比值比,由print np.exp(result.params)
计算,然后打印在shell中:
age_age5064 0.818842
age_age6574 0.774648
sex_female 0.777667
stage_early 0.832098
access 0.989859
dtype: float64
我需要的是将这些文件以非常类似的形式写入csv文件中(我不确定,此时,我是否需要Log-Likelihood
之类的内容,但包含它为了彻底起见):
`Log-Likelihood, age_age5064_coef, age_age5064_std_err, age_age5064_z, age_age5064_p>|z|,...age_age6574_coef, age_age6574_std_err, ......access_coef, access_std_err, ....age_age5064_odds_ratio, age_age6574_odds_ratio, ...sex_female_odds_ratio,.....access_odds_ratio`
我认为你得到的图片 - 一个非常长的行,包含所有这些实际值,以及一个包含所有列名称的标题。
我熟悉Python中的csv module
,并且越来越熟悉pandas
。不确定此信息是否可以格式化并存储在pandas dataframe
中,然后在完成所有~2,900个逻辑回归模型后使用to_csv
写入文件;那肯定会好的。此外,在每个模型完成后编写它们也很好(使用csv module
)。
更新:
所以,我更多地关注statsmodels网站,特别是试图弄清楚模型的结果是如何存储在类中的。看起来有一个名为'Results'的类,需要使用它。我认为使用这个类的继承来创建另一个类,其中一些方法/运算符被改变可能是要走的路,以获得我需要的格式。我在这方面的经验很少,并且需要花费相当多的时间来解决这个问题(这很好)。如果有人可以帮助/有更多的经验,那将是非常棒的!
以下是布置课程的网站:statsmodels results class
答案 0 :(得分:8)
目前没有预制的参数表及其结果统计数据。
基本上你需要自己堆叠所有结果,无论是在列表中,numpy数组还是pandas DataFrame都取决于什么对你更方便。
例如,如果我想要一个具有模型结果的numpy数组,llf并在summary参数表中生成结果,那么我可以使用
res_all = []
for res in results:
low, upp = res.confint().T # unpack columns
res_all.append(numpy.concatenate(([res.llf], res.params, res.tvalues, res.pvalues,
low, upp)))
但是,与大熊猫对齐可能会更好,具体取决于您在模型中的结构。
您可以编写一个辅助函数,该函数从结果实例中获取所有结果并将它们连接起来。
(我不确定按行写csv最方便的是什么)
编辑:
以下是将回归结果存储在数据框
中的示例https://github.com/statsmodels/statsmodels/blob/master/statsmodels/sandbox/multilinear.py#L21
循环在第159行。
summary()和statsmodels之外的类似代码,例如用于组合多个结果的http://johnbeieler.org/py_apsrtable/,面向打印而不是存储变量。
答案 1 :(得分:2)
如果你想找到系数结果.params会给你系数。如果要查找pvalues,请使用results.pvalues。无论如何,你可以使用dir(结果)来找出对象的所有属性。
答案 2 :(得分:2)
我发现这个配方更直接一点。您可以按照示例中的语法添加/减去列(pvals,coeff,conf_lower,conf_higher)。
import pandas as pd #This can be left out if already present...
def results_summary_to_dataframe(results):
'''This takes the result of an statsmodel results table and transforms it into a dataframe'''
pvals = results.pvalues
coeff = results.params
conf_lower = results.conf_int()[0]
conf_higher = results.conf_int()[1]
results_df = pd.DataFrame({"pvals":pvals,
"coeff":coeff,
"conf_lower":conf_lower,
"conf_higher":conf_higher
})
#Reordering...
results_df = results_df[["coeff","pvals","conf_lower","conf_higher"]]
return results_df
答案 3 :(得分:1)
write_path = '/my/path/here/output.csv'
with open(write_path, 'w') as f:
f.write(result.summary().as_csv())
答案 4 :(得分:0)
文档here中实际上记录了一个内置方法:
f = open('csvfile.csv','w')
f.write(result.summary().as_csv())
f.close()
我相信这是一种将摘要输出到csv文件的简便(简洁)方式。