使用Mathematica导入大文件

Question

我想用Mathematica导入很多大文件，然后执行NonlinearModelFit。所以，我使用了导入功能，如下所述：

files = FileNames["*.dat"];  
data = Parallelize[Import[#, "Table"] & /@ files]

问题是这一步非常......很慢。 你对改进这部分有什么想法吗？ 提前谢谢。

Answer 1

使用

ReadList[#, String]&/@files

或

ReadList[#, Record]&/@files

除了OP的评论之外，例如，有多种方式可以访问列。

dataAsStrings = ReadList[#, String]&/@files;
flatterData = Flatten[dataAsStrings, 1];
splitData = StringSplit[#] & /@ flatterData;
column2 = splitData[[All, 2]];

然后可能使用ToExpression将字符串转换为数值。