将大型CSV文件转换为NetCDF

Question

我希望将以CSV格式编写的浮动矢量数据文件转换为NetCDF格式，该文件由300万行和150列组成，如下所示。

0.3,0.9,1.3,0.5,...,0.9
-5.1,0.1,1.0,8.4,...,6.7
...

首先，我尝试了类似 cache-all-the-data-and-then-convert-it 算法的东西，但它没有工作，因为它无法为内存分配内存缓存。 所以我需要用 convert-one-by-one 算法编写的代码。

有人知道这样的解决方案吗？

我的机器的内存容量为8 MiB，对于任何编程语言（如C，Java和Python）都可以。

Answer 1

使用python，您可以逐行读取文件。

with open("myfile.csv") as infile:
    for line in infile:
        appendtoNetcdf(line)

所以你不必将所有文件内容加载到内存中。

检查netCDF4-python library，您可以轻松创建netcdf4或许多netcdf4文件。