整数数据 - ＆gt;平均 - ＆gt;在python中为大文件浮出数据

Question

我有一个传感器的大量数据，表示为长度为2048的列中0-255的整数，并且在同一个2D numpy数组中至少有10000行。我希望将所有行平均在一起以获得一列浮动并绘制它们。简单，对吧？

当行数少于1000行时，我的图表看起来很漂亮，而且根本没有量化。平均是显而易见的。 当行数超过10000时，我的图形看起来更糟 - 比较小的数组的平均值更加量化，即使它全部由浮点数组成，它也非常接近整数，它会受到伤害。

我要问的是：为什么会出现这种情况？平均值应“平滑”传感器测量值。当我采用更长的数据样本时，它们现在更嘈杂（和量化）！

以下是我当前代码的示例：

import matplotlib.pyplot as plt
import numpy as np

lower_bound=0
upper_bound=2048

#this loads data into raw_array as [n rows][2048 columns]
raw_array=np.loadtxt('raw_data.txt',dtype=int)

avg_array=np.mean(raw_array,0) #averages over zeroth column
x_inc=np.arange(lower_bound,upper_bound)
plt.plot(x_inc[lower_bound,upper_bound],avg_array[lower_bound,upper_bound])
plt.show()

Answer 1

问题是我平均的数据有错误（由数据采集程序引起）。基本上，从传感器收集的数据帧的一半以上是相同的并且重复。这导致输出接近一帧数据，而不是平滑我认为我拥有的大量数据。