Question

我正在使用dask运行模拟，并将输出结果存储在xarray数据集中。然后，将数据保存到netcdf文件。之后，我想重新打开文件以进行进一步的数据处理。打开文件是可行的，但是当我实际访问数据（例如调用ds.compute()）时，出现一个错误，该错误似乎与读取文件有关。我首先认为这与写入后无法正确关闭文件有关，但是手动关闭它并没有帮助。

奇怪的是，如果数据不是由dask生成的，则打开文件并使用其数据没有任何问题。如果我只是在数据集中存储一个带有随机数的numpy数组，那么一切都会很好。

我整理了一个小例子，让您可以看一下：

import numpy as np
import xarray as xr
import pandas as pd
import dask.array as da
import dask
from dask.distributed import Client
from itertools import repeat

@dask.delayed
def run_sim(a, b, n_time):
    result = np.array([np.random.randn(n_time)*a,np.random.randn(n_time)+b])
    return result

client = Client()

# Parameters
n_sims = 5
n_time = 100
a_vals = np.random.randn(n_sims)
b_vals = np.random.randn(n_sims)
output_file = 'out.nc'

# if I use this as output, computing the data after reopening the file 
produces an error
out = da.stack([da.from_delayed(run_sim(*args), (2,n_time,),np.float64) for args in zip(a_vals, b_vals, repeat(n_time))])

# If I use this as output, reopening the netcdf file is no problem
#out = np.random.randn(n_sims,2,n_time) 

ds = xr.Dataset({'var1': (['realization', 'time'], out[:,0,:]),
                 'var2': (['realization', 'time'],out[:,1,:])},
                 coords={'realization': pd.RangeIndex(n_sims),
                         'time': pd.Index(np.arange(n_time)*.1)})


# Save to a netcdf file -> at this point, computations will be carried out
print('Saving data to netcdf file.')
ds.to_netcdf(output_file)

# close the netcdf file after writing
ds.close()

# Reopen the file
print('Reopen the file.')
with xr.open_dataset(output_file, chunks={'realization': 2}) as ds:
    # Now acces the data
    ds.compute()

我得到的错误是（我只是复制了最后几行，在尝试执行ds.compute()时出现了该错误）：

~/miniconda3/lib/python3.6/site-packages/xarray/backends/netCDF4_.py in _open_netcdf4_group()
    229     import netCDF4 as nc4
    230 
--> 231     ds = nc4.Dataset(filename, mode=mode, **kwargs)
    232 
    233     with close_on_error(ds):

netCDF4/_netCDF4.pyx in netCDF4._netCDF4.Dataset.__init__()

netCDF4/_netCDF4.pyx in netCDF4._netCDF4._ensure_nc_success()

OSError: [Errno -101] NetCDF: HDF error: b'/home/user/output/out.nc'

编辑：如果仅在关闭文件之前运行代码（ds.close()是最后执行的行）并对输出文件执行ncdump -h，我将收到一条错误消息，指出它无法打开文件（'资源暂时不可用”）。因此它似乎仍在某个地方打开。

运行代码的第二部分（从# Reopen the file开始）会导致上述错误。但是之后，输出文件上的ncdump -h成功了，产生了预期的输出：

netcdf out {
dimensions:
    realization = 5 ;
    time = 100 ;
variables:
    double var1(realization, time) ;
            var1:_FillValue = NaN ;
    double var2(realization, time) ;
            var2:_FillValue = NaN ;
    int64 realization(realization) ;
    double time(time) ;
            time:_FillValue = NaN ;
}

如果我再重新运行代码的最后一部分，则不会再出现错误。

从这些结果得出的以下结论中我正确吗？

出现问题是因为在写入文件后未正确关闭文件。
第一次（不成功）尝试打开文件，至少已正确将其关闭。

如果是这样，我该怎么做才能避免这个问题？

EDIT2：仅当我启动dask.distributed.Client（）时才会出现问题。我还打开了issue on the xarray GitHub page。

Answer 1

仅需注意一点：documentation建议close()仅在从文件中读取时适用。写入文件时，to_netcdf()应该为您关闭文件。我本打算在评论中，但是没有足够的代表来发表评论。

Answer 2

看来this is a bug已修复。安装已经包含此修复程序的branch可以为我解决问题。

重新打开用xarray / dask

2 个答案: