Excel文件太大，我应该将它转换为什么格式以改善脚本中的处理时间

Question

我有一张excel表，有大约150,000条记录，像查找替换，删除列等操作需要花费很多时间。我需要编写一个脚本来执行一些任务，比如查找和替换，排序，删除行/列等。由于excel表太大，这些任务需要花费很多时间。我应该以什么格式转换我的Excel工作表，以便这些任务的处理时间变短，以便我可以创建一个脚本来执行任务＆gt;

Answer 1

您始终可以将其加载到SQLite数据库中。如果您正在进行大量的查找替换，那么速度非常快。在不了解您的数据的情况下，很难提供更有用的答案，以及您需要在Excel中使用它做多少事情。

您可以使用pyExcelerator和sqlite3模块编写一些Python来将数据从Excel中提取到SQLite中（并再次返回）。

Answer 2

当你说脚本时，我们在说什么语言和平台？

在不知道细节的情况下，我建议将电子表格导入SQL Server（甚至是Access）数据库，然后将转换后的查询结果导回到电子表格中。虽然我的数据集通常甚至超过150k行，并且文本字段相对较少，但我对该方法有很好的体验。

Answer 3

纯文字，awk和sed是你的朋友

Answer 4

我相信您可以将Excel文件输出为XML。如果您已经可以访问可以操作XML结构的库，那么它可能很容易实现。最糟糕的情况是将其转换为CSV文件并进行一些原始文本操作（尽管可能会更慢）。当然，除非你的意思是Excel中的脚本/宏观，在这种情况下，你可能会运气不好。我不确定数据库转换，这可能是许多记录的最佳选择，也许其他人可以帮助你。

Answer 5

将它导出到一个数据库并保存在那里，150,000行对于Excel来说太多了处理man，dam excel 2007！