matlab中用于分位数的等效python命令

时间:2012-12-05 21:44:13

标签: python matlab quantile

我正在尝试将我在matlab中的一些代码复制到python中。 我发现matlab中的分位数函数在python中没有“完全”对应的。我发现最接近的是python的mquantiles。 e.g。

for matlab:

 quantile( [ 8.60789925e-05, 1.98989354e-05 , 1.68308882e-04, 1.69379370e-04],  0.8)

给出:0.00016958

for python:

scipy.stats.mstats.mquantiles( [8.60789925e-05, 1.98989354e-05, 1.68308882e-04, 1.69379370e-04], 0.8)

给出0.00016912

有谁知道如何完全复制matlab的分位数?非常感谢。

3 个答案:

答案 0 :(得分:4)

您的输入向量只有4个值,这些值太少,无法很好地逼近基础分布的分位数。差异可能是Matlab和SciPy使用不同的启发式方法计算欠采样分布的分位数的结果。

答案 1 :(得分:4)

documentation for quantile(在更多关于=>算法部分下)提供了使用的确切算法。这里有一些python代码,用于平面数组的单个分位数,使用bottleneck进行部分排序:

import numpy as np
import botteleneck as bn

def quantile(a, prob):
    """
    Estimates the prob'th quantile of the values in a data array.

    Uses the algorithm of matlab's quantile(), namely:
        - Remove any nan values
        - Take the sorted data as the (.5/n), (1.5/n), ..., (1-.5/n) quantiles.
        - Use linear interpolation for values between (.5/n) and (1 - .5/n).
        - Use the minimum or maximum for quantiles outside that range.

    See also: scipy.stats.mstats.mquantiles
    """
    a = np.asanyarray(a)
    a = a[np.logical_not(np.isnan(a))].ravel()
    n = a.size

    if prob >= 1 - .5/n:
        return a.max()
    elif prob <= .5 / n:
        return a.min()

    # find the two bounds we're interpreting between:
    # that is, find i such that (i+.5) / n <= prob <= (i+1.5)/n
    t = n * prob - .5
    i = np.floor(t)

    # partial sort so that the ith element is at position i, with bigger ones
    # to the right and smaller to the left
    a = bn.partsort(a, i)

    if i == t: # did we luck out and get an integer index?
        return a[i]
    else:
        # we'll linearly interpolate between this and the next index
        smaller = a[i]
        larger = a[i+1:].min()
        if np.isinf(smaller):
            return smaller # avoid inf - inf
        return smaller + (larger - smaller) * (t - i)

我只做了单分位数,1d情况,因为这就是我所需要的。如果你想要几个分位数,那么它可能值得完全排序;要做到每轴并且知道你没有任何nans,你需要做的就是在排序中添加一个轴参数并对线性插值位进行矢量化。用nans做每轴的操作会有点棘手。

此代码给出:

>>> quantile([ 8.60789925e-05, 1.98989354e-05 , 1.68308882e-04, 1.69379370e-04], 0.8)
0.00016905822360000001

并且matlab代码给出了0.00016905822359999999;差异是3e-20。 (小于机器精度)

答案 2 :(得分:3)

有点晚了,但是:

mquantiles非常灵活。您只需要提供alphap和betap参数。 这里,由于MATLAB进行线性插值,因此需要将参数设置为(0.5,0.5)。

In [9]: scipy.stats.mstats.mquantiles( [8.60789925e-05, 1.98989354e-05, 1.68308882e-04, 1.69379370e-04], 0.8, alphap=0.5, betap=0.5)

编辑:MATLAB表示它进行线性插值,但似乎它通过分段线性插值计算分位数,这相当于 R 中的类型5分位数,以及(0.5,0.5)在scipy。