我正在使用xarray读取一些(显然)大的grib文件。我说“显然”是因为它们每个都有〜100MB,对我来说似乎并不大。但是,运行
import xarray as xr
ds = xr.open_dataset("gribfile.grib", engine="cfgrib")
需要5-10分钟。更糟糕的是,读取其中之一会占用近4GB的RAM-考虑到xarray应该进行的延迟加载,这让我感到惊讶。尤其重要的是,它是原始文件大小的40倍!
此读取时间和RAM使用量似乎过多,无法扩展到我必须读取的24个文件。
我尝试使用dask和xr.open_mfdataset
,但是当单个文件太大时,这似乎无济于事。有什么建议吗?
附录: 数据集打开后如下所示:
<xarray.Dataset>
Dimensions: (latitude: 10, longitude: 10, number: 50, step: 53, time: 45)
Coordinates:
* number (number) int64 1 2 3 4 5 6 7 8 9 ... 42 43 44 45 46 47 48 49 50
* time (time) datetime64[ns] 2011-01-02 2011-01-04 ... 2011-03-31
* step (step) timedelta64[ns] 0 days 00:00:00 ... 7 days 00:00:00
surface int64 0
* latitude (latitude) float64 56.0 55.0 54.0 53.0 ... 50.0 49.0 48.0 47.0
* longitude (longitude) float64 6.0 7.0 8.0 9.0 10.0 ... 12.0 13.0 14.0 15.0
valid_time (time, step) datetime64[ns] 2011-01-02 ... 2011-04-07
Data variables:
u100 (number, time, step, latitude, longitude) float32 6.389208 ... 1.9880934
v100 (number, time, step, latitude, longitude) float32 -13.548858 ... -3.5112982
Attributes:
GRIB_edition: 1
GRIB_centre: ecmf
GRIB_centreDescription: European Centre for Medium-Range Weather Forecasts
GRIB_subCentre: 0
history: GRIB to CDM+CF via cfgrib-0.9.4.2/ecCodes-2.9.2 ...
通过暂时读取grib文件并将它们作为netcdf写入磁盘,我暂时解决了这个问题。然后,xarray将按预期处理netcdf文件。显然,不必这样做会很高兴,因为它需要花很多时间-到目前为止,我只这样做了4次。