Question

我有一个非常大的netCDF文件，我正在使用python

中的netCDF4阅读

我无法一次性读取此文件，因为它的尺寸（1200 x 720 x 1440）太大，整个文件不能同时在内存中。第一维表示时间，接下来的两维分别表示纬度和经度。

import netCDF4 
nc_file = netCDF4.Dataset(path_file, 'r', format='NETCDF4')
for yr in years:
    nc_file.variables[variable_name][int(yr), :, :]

但是，一次阅读一年的速度非常缓慢。如何加快下面的用例？

- 编辑

chunksize是1

我可以阅读一系列年份：nc_file.variables [variable_name] [0：100，：，：]

有几种用例：

年岁：

numpy.ma.sum(nc_file.variables[variable_name][int(yr), :, :])

# Multiply each year by a 2D array of shape (720 x 1440)
for yr in years:
    numpy.ma.sum(nc_file.variables[variable_name][int(yr), :, :] * arr_2d)

# Add 2 netcdf files together 
for yr in years:
    numpy.ma.sum(nc_file.variables[variable_name][int(yr), :, :] + 
                 nc_file2.variables[variable_name][int(yr), :, :])

Answer 1

我强烈建议您查看xarray和dask项目。使用这些功能强大的工具，您可以轻松地将计算分成块。这带来了两个优点：您可以计算不适合内存的数据，并且可以使用计算机中的所有内核来获得更好的性能。您可以通过适当选择块大小来优化性能（请参阅documentation）。

您可以通过像

这样简单的操作从netCDF加载数据

import xarray as xr
ds = xr.open_dataset(path_file)

如果要在时间维度上按年份对数据进行分块，则指定chunks参数（假设年份坐标名为“年”）：

ds = xr.open_dataset(path_file, chunks={'year': 10})

由于其他坐标没有出现在chunks dict中，因此将使用单个块。（请参阅文档here中的更多详细信息。）。这对于您的第一个要求非常有用，您希望每年将其乘以2D数组。你只需要这样做：

ds['new_var'] = ds['var_name'] * arr_2d

现在，xarray和dask正在计算您的结果 lazily 。为了触发实际计算，您只需要xarray将结果保存回netCDF：

ds.to_netcdf(new_file)

计算通过dask触发，它负责将处理分成块，从而能够处理不适合内存的数据。此外，dask将负责使用所有处理器内核来计算块。

xarray和dask项目仍然无法很好地处理块不能很好地“对齐”并行计算的情况。因为在这种情况下，我们只在“年”维度中进行了分类，我们希望没有问题。

如果要将两个不同的netCDF文件一起添加，它就像：

一样简单

ds1 = xr.open_dataset(path_file1, chunks={'year': 10})
ds2 = xr.open_dataset(path_file2, chunks={'year': 10})
(ds1 + ds2).to_netcdf(new_file)

我使用a dataset available online提供了一个完整的示例。

In [1]:

import xarray as xr
import numpy as np

# Load sample data and strip out most of it:
ds = xr.open_dataset('ECMWF_ERA-40_subset.nc', chunks = {'time': 4})
ds.attrs = {}
ds = ds[['latitude', 'longitude', 'time', 'tcw']]
ds

Out[1]:

<xarray.Dataset>
Dimensions:    (latitude: 73, longitude: 144, time: 62)
Coordinates:
  * latitude   (latitude) float32 90.0 87.5 85.0 82.5 80.0 77.5 75.0 72.5 ...
  * longitude  (longitude) float32 0.0 2.5 5.0 7.5 10.0 12.5 15.0 17.5 20.0 ...
  * time       (time) datetime64[ns] 2002-07-01T12:00:00 2002-07-01T18:00:00 ...
Data variables:
    tcw        (time, latitude, longitude) float64 10.15 10.15 10.15 10.15 ...

In [2]:

arr2d = np.ones((73, 144)) * 3.
arr2d.shape

Out[2]:

(73, 144)

In [3]:

myds = ds
myds['new_var'] = ds['tcw'] * arr2d

In [4]:

myds

Out[4]:

<xarray.Dataset>
Dimensions:    (latitude: 73, longitude: 144, time: 62)
Coordinates:
  * latitude   (latitude) float32 90.0 87.5 85.0 82.5 80.0 77.5 75.0 72.5 ...
  * longitude  (longitude) float32 0.0 2.5 5.0 7.5 10.0 12.5 15.0 17.5 20.0 ...
  * time       (time) datetime64[ns] 2002-07-01T12:00:00 2002-07-01T18:00:00 ...
Data variables:
    tcw        (time, latitude, longitude) float64 10.15 10.15 10.15 10.15 ...
    new_var    (time, latitude, longitude) float64 30.46 30.46 30.46 30.46 ...

In [5]:

myds.to_netcdf('myds.nc')
xr.open_dataset('myds.nc')

Out[5]:

<xarray.Dataset>
Dimensions:    (latitude: 73, longitude: 144, time: 62)
Coordinates:
  * latitude   (latitude) float32 90.0 87.5 85.0 82.5 80.0 77.5 75.0 72.5 ...
  * longitude  (longitude) float32 0.0 2.5 5.0 7.5 10.0 12.5 15.0 17.5 20.0 ...
  * time       (time) datetime64[ns] 2002-07-01T12:00:00 2002-07-01T18:00:00 ...
Data variables:
    tcw        (time, latitude, longitude) float64 10.15 10.15 10.15 10.15 ...
    new_var    (time, latitude, longitude) float64 30.46 30.46 30.46 30.46 ...

In [6]:

(myds + myds).to_netcdf('myds2.nc')
xr.open_dataset('myds2.nc')

Out[6]:

<xarray.Dataset>
Dimensions:    (latitude: 73, longitude: 144, time: 62)
Coordinates:
  * time       (time) datetime64[ns] 2002-07-01T12:00:00 2002-07-01T18:00:00 ...
  * latitude   (latitude) float32 90.0 87.5 85.0 82.5 80.0 77.5 75.0 72.5 ...
  * longitude  (longitude) float32 0.0 2.5 5.0 7.5 10.0 12.5 15.0 17.5 20.0 ...
Data variables:
    tcw        (time, latitude, longitude) float64 20.31 20.31 20.31 20.31 ...
    new_var    (time, latitude, longitude) float64 60.92 60.92 60.92 60.92 ...

Answer 2

检查文件的分块。 ncdump -s <infile>会给出答案。如果时间维度中的块大小大于1，则应一次读取相同的年份数，否则您将从磁盘一次读取数年并且一次只使用一年。缓慢有多慢？对于这种大小的阵列，每个时间步长最多几秒钟听起来是合理的。稍后提供有关您对数据执行操作的更多信息可以为我们提供有关问题所在位置的更多指导。

Answer 3

这是Kinda Hacky，但可能是最简单的解决方案：

将文件的子集读入内存，然后将文件cPickle（https://docs.python.org/3/library/pickle.html）返回磁盘以备将来使用。从pickle数据结构加载数据可能比每次解析netCDF更快。

加快阅读python

3 个答案: