在Wolfram Mathematica中处理大数据文件的方法

Question

我想知道Mathematica中是否存在处理大文件的方法？ 目前我有一个大约500Mb的表格数据文件。

Import["data.txt","Table"];

什么是替代方式？

Answer 1

使用OpenRead["file"]为您提供InputStream对象，您可以使用Read[stream]。根据数据文件的格式，您可能需要在RecordSeparators中为In[1]:= str = OpenRead["ExampleData/USConstitution.txt"] Out[1]= InputStream["ExampleData/USConstitution.txt", 24] In[2]:= Read[str, Word] Out[2]= "We" In[3]:= Read[str, Word] Out[3]= "the" In[4]:= Read[str, Record] Out[4]= "People of the United States, in Order to form a more perfect Union," 设置自定义选项值。

示例：

{{1}}

Answer 2

您还可以将数据加载到数据库（例如MySQL）中，并使用DatabaseLink从Mathematica访问它

Answer 3

函数DumpSave对于保存大型数据集也很有帮助。它以Mathematica的内部格式保存数据，因此在时间和文件大小方面都更有效。