连接两个不同时间跨度的nc4文件

时间:2016-07-05 23:19:22

标签: r netcdf nco

假设有两个netCDF文件(在我的例子中是nc4),每个变量都有3个维度:纬度,经度和时间(年)。它们具有不同的时间跨度(例如1700-2005和2005-2100 - 它们在2005年重叠)。如何连接它们以获得一个跨越1700-2100的nc4文件?

只需尝试NCO运营商 ncrcat file1.cn4 file2.nc4 result.nc4 会提供一个跨越[1700-2005,1700-1795]的文件。在运行该行时,它会发出警告:nco_cln_clc_dff<><> failed to initialize UDUnits2 library。根据这个post,我不应该担心。

我还使用NCO manual ncrcat --rec_apn file2.nc4 file1.cn4 中所述的追加方式。我得到一个结果时间跨度[2005-2310,2005-2100]和一个警告:ncrcat: WARNING Intra-file non-monotonicity. Record coordinate “time” does not monotonically decrease between input file file2.nc4 record indices: 94,95 output file1.nc4 record indices 400,401 ...(这里的指数不太重要,因为我得到了每个指标的警告)

请注意,我可以在Linux上使用CDO时没有时间跨度问题进行连接:cdo mergetime file1.cn4 file2.nc4 result.nc4(或cdo -z zip_3 mergetime file1.cn4 file2.nc4 result.nc4以获得压缩级别3)。另请注意,我必须在调用export SKIP_SAME_TIME=1之前使用cdo mergetime才能处理重叠的2005年(仅首次出现)。

使用R我尝试了以下内容:

library(ncdf4)
library(ncdf.tools)
ncFile1 <- nc_open("C://file1.nc4")
nc1 <-ncvar_get(ncFile1)
ncFile2 <- nc_open("C://file2.nc4")
nc2 <-ncvar_get(ncFile2)
transNcdfMerge(c(nc1, nc2), target.name = "my_test.nc4")

我让它跑了将近2个小时,然后我停止了跑步。由于我必须为数百个nc4文件执行此操作,因此我无法等待那么久。在运行时没有发出任何错误,但我不确定代码是否正确。

我使用Windows 7,64位,8Gb RAM。对于R - &#34; R版本3.3.0(2016-05-03)&#34;

更新:使用R

打印两个文件的一些元数据

1) file1.nc4

ncdf4::print(file1.nc4)

 1 variables (excluding dimension variables):
    float prop_crop[lon,lat,time]   (Chunking: [720,360,1])  (Compression: shuffle,level 3)
        units: percent
        _FillValue: -9999
        long_name: Proportion of landcover in crops
        missing_value: -9999

 3 dimensions:
    lat  Size:360
        units: degrees_north
        long_name: Latitude
        standard_name: latitude
    lon  Size:720
        units: degrees_east
        long_name: Longitude
        standard_name: longitude
    time  Size:306   *** is unlimited ***
        long_name: Time
        standard_name: time
        calendar: proleptic_gregorian
        units: years since 1700-01-01 00:00:00

2)file2.nc4

ncdf4::print(file2.nc4)

 1 variables (excluding dimension variables):
    float prop_crop[lon,lat,time]   (Chunking: [720,360,1])  (Compression: shuffle,level 3)
        units: percent
        _FillValue: -9999
        long_name: Proportion of landcover in crops
        missing_value: -9999

 3 dimensions:
    lat  Size:360
        units: degrees_north
        long_name: Latitude
        standard_name: latitude
    lon  Size:720
        units: degrees_east
        long_name: Longitude
        standard_name: longitude
    time  Size:96   *** is unlimited ***
        units: years since 2005-01-01 00:00:00
        long_name: Time
        standard_name: time
        calendar: proleptic_gregorian

希望有所帮助

3 个答案:

答案 0 :(得分:2)

NCO要求UDUnits在手册中执行日期算术(称为&#34; rebasing&#34;)。建议您安装功能齐全的NCO,例如

conda install -c conda-forge nco

然后重试原始命令。

答案 1 :(得分:1)

只是要提一下,如果由于任何原因,2005年的值在两个文件中不一致,并且一个想要保留第二个文件而不是第一个文件的重叠部分,则可以按顺序使用CDO削减相关部分:

cdo mergetime -seldate,17000101,20041231 file1.nc4 file2.nc4 merged_file.nc

答案 2 :(得分:0)

nco-4.6.0.windows.mvs.exe与UDunits链接。要验证,请尝试此

C:\nco>ncks -r

输出应该是(注意UDunits部分) 至于你得到的错误,为了调试你的错误,我们需要有原始文件或用ncks / ncdump制作的样本

NCO netCDF Operators version "4.6.0" built by USER on HOSTNAME at May 12 2016 17:17:59
    ncks version "4.6.0"
    Linked to netCDF library version 4.3.2, compiled Feb 29 2016 01:53:06
    Configuration Option:   Active? Meaning or Reference:
    Check _FillValue        Yes     http://nco.sf.net/nco.html#mss_val
    Check missing_value     No      http://nco.sf.net/nco.html#mss_val
    DAP clients             Yes     http://nco.sf.net/nco.html#dap
    Debugging: Custom       No      Pedantic, bounds checking (slowest execution)
    Debugging: Symbols      No      Produce symbols for debuggers (e.g., dbx, gdb)
    ESMF Library            No      http://nco.sf.net/nco.html#esmf
    GNU Scientific Library  Yes     http://nco.sf.net/nco.html#gsl
    HDF4 support            Unknown http://nco.sf.net/nco.html#hdf4
    Internationalization    No      http://nco.sf.net/nco.html#i18n (pre-alpha)
    MPI parallelization     No      http://nco.sf.net/nco.html#mpi (beta)
    netCDF3 64-bit files    Yes     http://nco.sf.net/nco.html#lfs
    netCDF4/HDF5 available  Yes     http://nco.sf.net/nco.html#nco4
    netCDF4/HDF5 enabled    Yes     http://nco.sf.net/nco.html#nco4
    OpenMP SMP threading    No      http://nco.sf.net/nco.html#omp
    Optimization: run-time  No      Fastest execution possible (slowest compilation)
    Parallel netCDF3        No      http://nco.sf.net/nco.html#pnetcdf (pre-alpha)
    Regular Expressions     No      http://nco.sf.net/nco.html#rx
    Shared libraries built  No      Small, dynamically linked executables
    Static libraries built  No      Large executables with private namespaces
    UDUnits conversions     Yes     http://nco.sf.net/nco.html#udunits
    UDUnits2 conversions    Yes     http://nco.sf.net/nco.html#udunits

请注意,您的文件必须包含属性中的单位信息。这是一个样本 对于具有变量&#39; lon&#39;的单位信息的文件位于小组&#39; g1&#39;

netcdf in_grp {
group: g1 { 
   dimensions:
   lon=4;
   float lon(lon);
   lon:units = "degrees_east";  
   data:
    lon=0,90,180,270;
  }
}   

NCO的源代码分发包含几个安装在Windows NCO版本中的示例文件。尝试

C:\nco>ncks in_grp.nc -g g1 -v lon
/g1/lon
lon: type NC_FLOAT, 1 dimension, 1 attribute, compressed? no, chunked? no, packed? no
lon size (RAM) = 4*sizeof(NC_FLOAT) = 4*4 = 16 bytes
lon dimension 0: /lon, size = 4 NC_FLOAT (Coordinate is lon)
lon attribute 0: units, size = 12 NC_CHAR, value = degrees_east

/g1/lon
lon[0]=0 degrees_east
lon[1]=90 degrees_east
lon[2]=180 degrees_east
lon[3]=270 degrees_east