pandas.read_csv
的函数签名提供了以下选项:
read_csv(filepath_or_buffer, low_memory=True, memory_map=False, iterator=False, chunksize=None, ...)
我无法找到low_memory
或memory_map
个标记的任何文档。我对这些功能是否已实现感到困惑,如果是这样,它们如何工作。
具体地,
memory_map
:如果已实现,则使用np.memmap
,如果是,则将各列存储为memmap或行。 low_memory
:它是否指定了cache
存储在内存中的内容?DataFrame
转换为 memmapped DataFrame
P.S。:相关模块的版本
pandas==0.14.0
scipy==0.14.0
numpy==1.8.1
答案 0 :(得分:3)
我将尝试总结对这个问题的评论,并将我自己的研究添加到一个全面的答案中。
low_memory
选项种类已被删除,因为它实际上不再执行任何操作(source)。
memory_map
似乎没有使用numpy内存映射,据我所知source code它似乎是一个如何解析传入的数据流的选项,而不是对于您收到的数据帧如何有效的事情。