使用Numpy.loadtxt（）进行并行处理

Question

我有一个＆gt; 100MB的文件，需要使用numpy.loadtxt()

来阅读

阅读部分是我代码中的主要瓶颈。对于72MB文件，需要17.3s

以某种方式可以使用loadtxt()

以并行方式读取文件

如果可能，不分割文件。

Answer 1

看起来 numpy.loadtxt（）是你的问题。

http://wesmckinney.com/blog/?p=543

http://codrspace.com/durden/performance-lessons-for-reading-ascii-files-into-numpy-arrays/

根据这些网站，你最好不要使用numpy的加载功能。

pandas模块应该对

pandas.read_csv 和 read_table 有所帮助。