有没有比通过数组更有效的方法来处理大量数据?

时间:2011-08-01 07:48:38

标签: python arrays data-structures

Hej那里,我正在为使用Python设置的物理测量编写数据采集和分析软件。在这个过程中,我收集了大量的数据点(很容易在1.000.000或更高的数量级),我随后会分析这些数据点。到目前为止,我正在使用浮点数的数组,原则上这是完成工作。 然而,由于每次测量使用越来越多的数据点,我对获取的数据产生了奇怪的影响,这让我想知道阵列的处理是如此低效,写入它们会导致数据采集中的显着时间延迟循环。

这有可能吗?您对如何在写作过程中改善处理时间有任何建议(这是微秒的问题),还是不是可能的影响,我需要在其他地方寻找?

提前致谢!

1 个答案:

答案 0 :(得分:5)

你的意思是名单吗?您可以使用NumPy来处理高效且高效的数值数组。

来自NumyPy网站:

  

首先,它们非常适合执行计算依赖   严重依赖于数学和数值运算。他们可以工作   本地使用矩阵和数组,对它们执行操作,查找   特征向量,计算积分,求解微分方程。

     

NumPy的数组类(用于实现矩阵类)是   在考虑速度的情况下实现,因此访问NumPy阵列的速度更快   而不是访问Python列表。此外,NumPy实现了一个数组   语言,因此不需要大多数循环。