将CSV导入多个部分的Matlab

Question

我有一个非常大的CSV文件（870mb），我正试图导入到Matlab中。一些数据是数字的，一些是文本。我有16GB的RAM和一个SSD，但导入向导脚本使用的是37GB，并且在几个小时后没有超过0％的扫描文件。

有没有办法打破导入向导脚本导入前500,000行并将它们保存到变量并清空dataArray然后导入下一个500,000行并将其附加到变量等，直到文件完成？我很惊讶Matlab本身并没有这样做。

感谢您的帮助。

Answer 1

看看我描述的内存映射方法here。如果您知道文件的格式，或者可以从内容中推断出它，我发现这是将大型CSV文件读入Matlab的最快方法。它还有助于减少内存使用量。