我决定比较大熊猫和scipy.stats中的偏斜和峰度函数,并且不明白为什么我在库之间得到不同的结果。
据我在文档中可以看出,两个峰度函数都使用Fisher的定义进行计算,而对于偏斜,似乎没有足够的描述来判断是否与如何有任何重大差异他们是计算好的。
import pandas as pd
import scipy.stats.stats as st
heights = np.array([1.46, 1.79, 2.01, 1.75, 1.56, 1.69, 1.88, 1.76, 1.88, 1.78])
print "skewness:", st.skew(heights)
print "kurtosis:", st.kurtosis(heights)
返回:
skewness: -0.393524456473
kurtosis: -0.330672097724
如果我转换为pandas数据帧:
heights_df = pd.DataFrame(heights)
print "skewness:", heights_df.skew()
print "kurtosis:", heights_df.kurtosis()
返回:
skewness: 0 -0.466663
kurtosis: 0 0.379705
如果我把这个贴在错误的地方,我会道歉;不确定它是统计数据还是编程问题。
答案 0 :(得分:20)
差异是由于不同的标准化。默认情况下,Scipy不会纠正偏差,而pandas会这样做。
你可以通过传递bias=False
参数告诉scipy纠正偏见:
>>> x = pandas.Series(np.random.randn(10))
>>> stats.skew(x)
-0.17644348972413657
>>> x.skew()
-0.20923623968879457
>>> stats.skew(x, bias=False)
-0.2092362396887948
>>> stats.kurtosis(x)
0.6362620964462327
>>> x.kurtosis()
2.0891062062174464
>>> stats.kurtosis(x, bias=False)
2.089106206217446
似乎没有办法让大熊猫去除偏差修正。