如何使用ILNumerics在.NET中导入大型数据文件?

时间:2014-06-04 21:24:41

标签: c# .net large-files ilnumerics

在ILNumerics中分配大型数组,读取大型(> 1 GB或>>> 1 GB)CSV文件的推荐方法是什么?

我知道ILMath.csvread静态类,有没有更好的方法在一行上处理多个类型?例如,我可能想要读取一个非常长的int(对于日期)和双倍逗号分隔。任何有效的方法来实现这一目标?

内存管理问题怎么样?如何动态分配正确的内存大小?我可以将所有内容存储在ILArrays中吗?我应该定义自己的类型来封装几个数组吗?

总结一下:建议读取大量csv行(1亿行甚至数十亿)的内存方式是什么?

提前致谢

0 个答案:

没有答案