Question

如何使用numpy加速数据读取和类型转换？我还面临着获取numpy.void类型对象的问题，因为据我所知的异构数组而不是ndarrays。我创建了一个简单的测试，显示numpy.genfromtxt比纯python代码慢，但我相信必须有更好的方法。我无法让numpy.loadtxt工作。

如何改善表现？以及如何获得ndarray子数组？

import timeit
import numpy as np

line = "QUAD4   1       123456  123456781.2345671.2345671.234567        "
text = [line + "\n" for x in range(1000000)]
with open("testQUADs","w") as f:
    f.writelines(text)


setup="""
import numpy as np
"""

st="""
with open("testQUADs", "r") as f:
    fn = f.readlines()
for i, line in enumerate(fn):
    l = [line[0:8], line[8:16], line[16:24], line[24:32], line[32:40], line[40:48], line[48:56], line[56:64], line[64:72], line[72:80]]
    fn[i] = [l[0].strip(), int(l[1]), int(l[2]), int(l[3]), float(l[4]), float(l[5]), float(l[6]), l[7].strip()]
fn = np.array(fn)
"""

stnp="""
array = np.genfromtxt("testQUADs", delimiter=8, dtype="|S8, i4, i4, i4, f8, f8, f8, |S8")
print(array[0])
print(type(array[0]))
"""


print(timeit.timeit(st, setup=setup, number=1))
print(timeit.timeit(stnp, setup=setup, number=1))

输出：

4.560215269000764
(b'QUAD4   ', 1, 123456, 12345678, 1.234567, 1.234567, 1.234567, b'        ')
<class 'numpy.void'>
6.360823633000109

Answer 1

你从

得到什么

array = np.genfromtxt("testQUADs", delimiter=8, dtype="|S8, i4, i4, i4, f8, f8, f8, |S8")

是structured array。

array.dtype

看起来像

np.dtype("|S8, i4, i4, i4, f8, f8, f8, |S8")

array.shape是行数;它是一个包含8个字段的1d数组。

array[0]是此数组的一个元素或记录;看看它的dtype。不要担心它的type（void只是复合dtype记录的类型）。

array['f0']是第一个字段，所有行，在本例中是一个字符串数组。

您可能需要更深入地阅读dtype和structured数组文档。很多SO海报都对genfromtxt产生的1d结构化数组感到困惑。

genfromtxt就像您的代码一样读取文件，并将每一行拆分为字符串。然后它根据dtype转换这些字符串，并在列表中收集结果。最后，它将该列表汇编到array - 指定dtype的这个1d数组。由于它比你的代码做得更多，所以它有点慢就不足为奇了。

loadtxt做的事情大致相同，某些领域的权力较小。

pandas有一个更快的csv阅读器，因为它使用了更多的编译代码。但是数据框架比结构化阵列更容易理解。

你的两种方法不能产生同样的东西：

In [105]: line = "QUAD4   1       123456  123456781.2345671.2345671.234567        "

In [106]: txt=[line,line,line]    # a list of lines instead of a file

In [107]: A = np.genfromtxt(txt, delimiter=8, dtype="|S8, i4, i4, i4, f8, f8, f8, |S8")

In [108]: A
Out[108]: 
array([ ('QUAD4   ', 1, 123456, 12345678, 1.234567, 1.234567, 1.234567, '        '),
       ('QUAD4   ', 1, 123456, 12345678, 1.234567, 1.234567, 1.234567, '        '),
       ('QUAD4   ', 1, 123456, 12345678, 1.234567, 1.234567, 1.234567, '        ')], 
      dtype=[('f0', 'S8'), ('f1', '<i4'), ('f2', '<i4'), ('f3', '<i4'), ('f4', '<f8'), ('f5', '<f8'), ('f6', '<f8'), ('f7', 'S8')])

注意dtype;和3个元素

你的行解析器：

In [109]: fn=txt[:]    
In [110]: for i, line in enumerate(fn):
        l = [line[0:8], line[8:16], line[16:24], line[24:32], line[32:40], line[40:48], line[48:56], line[56:64], line[64:72], line[72:80]]
        fn[i] = [l[0].strip(), int(l[1]), int(l[2]), int(l[3]), float(l[4]), float(l[5]), float(l[6]), l[7].strip()]
   .....:     

In [111]: fn
Out[111]: 
[['QUAD4', 1, 123456, 12345678, 1.234567, 1.234567, 1.234567, ''],
 ['QUAD4', 1, 123456, 12345678, 1.234567, 1.234567, 1.234567, ''],
 ['QUAD4', 1, 123456, 12345678, 1.234567, 1.234567, 1.234567, '']]

In [112]: A1=np.array(fn)

In [113]: A1
Out[113]: 
array([['QUAD4', '1', '123456', '12345678', '1.234567', '1.234567',
        '1.234567', ''],
       ['QUAD4', '1', '123456', '12345678', '1.234567', '1.234567',
        '1.234567', ''],
       ['QUAD4', '1', '123456', '12345678', '1.234567', '1.234567',
        '1.234567', '']], 
      dtype='|S8')

fn是一个列表列表，可以包含不同类型的值。但是当你把它放入一个数组时，它会变成一个字符串。

我可以将您的fn列表转换为结构化数组：

In [120]: np.array([tuple(l) for l in fn],dtype=A.dtype)
Out[120]: 
array([('QUAD4', 1, 123456, 12345678, 1.234567, 1.234567, 1.234567, ''),
       ('QUAD4', 1, 123456, 12345678, 1.234567, 1.234567, 1.234567, ''),
       ('QUAD4', 1, 123456, 12345678, 1.234567, 1.234567, 1.234567, '')], 
      dtype=[('f0', 'S8'), ('f1', '<i4'), ('f2', '<i4'), ('f3', '<i4'), ('f4', '<f8'), ('f5', '<f8'), ('f6', '<f8'), ('f7', 'S8')])

与A中的genfromtxt相同，除了字符串的填充。

这是一个可能有用的变体，但它也可能会扩展您对结构化数组的了解：

In [132]: dt=np.dtype('a8,(3)i,(3)f,a8')
In [133]: A = np.genfromtxt(txt, delimiter=8, dtype=dt)

A现在有4个字段，其中两个有多个值

A['f1']将返回一个（n，3）整数数组。

Answer 2

你还有：

np.loadtxt

如果您确定每行获得相同数量的值，则可以使用它。但是，从前面的答案中可以说出一切;）

从numpy中的文本文件快速读取数据

2 个答案: