Question

我正在比较计算随机数平均值的两种算法。

第一个算法将所有数字相加并除以最后的项目数
第二个算法计算每次迭代的平均值，并在收到新数据时重用结果

我想这里没有革命性的东西，而且我不是数学家，所以我不能在这两种算法上加上名字。

这是我的代码：

#include <iostream>
#include <iomanip>
#include <cstdlib>

class Average1
{
public:
    Average1() : total( 0 ), count( 0 ) {}

    void add( double value )
    {
        total += value;
        count++;
    }

    double average()
    {
        return total/count;
    }

private:
    double total;
    size_t count;
};

class Average2
{
public:
    Average2() : av( 0 ), count( 0 ) {}

    void add( double value )
    {
        av = (av*count + value)/(count+1);
        count++;
    }

    double average()
    {
        return av;
    }

private:
    double av;
    size_t count;
};

void compare()
{
    Average1 av1;
    Average2 av2;
    double temp;
    for ( size_t i = 0; i != 100000000; ++i )
    {
        temp = static_cast<double>(std::rand()) / static_cast<double>(RAND_MAX);
        av1.add( temp );
        av2.add( temp );
    }

    std::cout << std::setprecision(20) << av1.average() << std::endl;
    std::cout << std::setprecision(20) << av2.average() << std::endl;
}

int main()
{
    compare();
    return 0;
}

输出是：

0.50001084285722707801
0.50001084285744978875

差异当然是由于double类型精度。

最后，哪一个是好方法？哪一个给出真实的数学平均值（或最接近......）？

Answer 1

如果你真的想要高精度：

考虑任意精度算术（例如使用GMP）
考虑Kahan summation algorithm （可能的编译器问题）
考虑Shewchuk's-algorithm（在Python中可用math.fsum）

编辑：math.fsum中的python-docs也链接到this Overview of approaches

Answer 2

我的猜测是，第一堂课给出了更可靠的结果。在每次迭代的第二种情况下，由于按计数除法，您会进行一些近似，最终所有这些近似值加起来就会看出结果的差异。在第一种情况下，您只需在计算最终除法时进行近似。

Answer 3

John D. Cook给出了他推荐的一个很好的分析：

av = av + (value - av)/count;

他的帖子以Comparing three methods of computing standard deviation开头。

然后Theoretical explanation for numerical results

和上一次Accurately computing running variance

Answer 4

我自己的想法是，计算计数次数值除了它之前是一个很大的数字，这就解释了为什么你的结果是近似的。我愿意：

class Average3
{
public:
    Average3() : av( 0 ), count( 0 ) {}

    void add( double value )
    {
        count++;
        av +=  (value - av)/count;
    }
...

但是在添加最后一个数字时仍然会失去精度，因为与平均值相比，增加值/计数很小。我很高兴知道我的直觉是否正确

高精度计算平均值的最佳策略

4 个答案: