如何加速：在python中打开一个数据文件

Question

我使用简单的代码行打开大数据.xls文件workbook = xlrd.open_workbook('file_name.xls')。执行还需要相当长的时间。我正在使用Python 2.有没有办法加快这一步呢？

Answer 1

一种选择是将文件分成多个部分并使用多线程（http://www.tutorialspoint.com/python/python_multithreading.htm）。

但是，有一个原因使Python不是世界上最快的语言...考虑使用不同的语言（如果可能）来解决这个问题。

您也可以在Python中启动C程序来为您执行此操作。您很可能会看到一些重大改进。 Run C program from Python and then capture output

Answer 2

按需访问工作簿会减少可能大大减少加载时间的内存使用量。请尝试以下代码

import xlrd
try:
    work_book = xlrd.open_workbook('file_name.xls', on_demand=True)
finally:
    work_book.release_resources()

PS - 别忘了发布资源