Question

我对使用HDF5线程安全库有疑问我目前使用HDF5 C ++库（静态）的一个实例，该实例是由我的同事使用nether "HDF5_ENABLE_PARALLEL"和"HDF5_ENABLE_THREADSAFE"选项编译的。

我尝试做的是使用多个线程访问包含一些数据的HDF文件。实际的数据读取不需要是并行的。

我的代码目前看起来有点简化：

// includes etc.

int main() {

  H5File t_file(FILENAME, H5F_ACC_RDONLY);

  thread t1(read_row, cref(t_file), 0);
  thread t2(read_row, cref(t_file), 1);

  t1.join();
  t2.join();

  return 0;

}

void read_row(const H5File & p_file, size_t p_row){

  double data[DIM_Y][DIM_X];

  try {

    DataSet t_dataset = p_file.openDataSet("/Group0/Set0");
    DataSpace t_dataspace = t_dataset.getSpace();

    hsize_t dims[2];
    auto status = t_dataspace.getSimpleExtentDims(dims, nullptr);


    hsize_t count[2] = { 1, DIM_X };
    hsize_t offset[2] = { p_row, 0 };
    t_dataspace.selectHyperslab(H5S_SELECT_SET, count, offset);

    hsize_t mem_dim[2] = { 1, DIM_X };
    DataSpace t_memspace(RANK, mem_dim);
    hsize_t mem_offset[2] = { 0, 0 };
    t_memspace.selectHyperslab(H5S_SELECT_SET, count, mem_offset);

    t_dataset.read(data, PredType::NATIVE_DOUBLE, t_memspace, t_dataspace);

  }
  catch (...){
    cout << "Caught some exception" << endl;
  }
}

代码编译，如果我运行程序，大部分时间一切顺利但有时我会收到以下错误消息：

HDF5-DIAG: Error detected in HDF5 (1.8.16) thread 0:
  #000: D:\Projects\CANoe\90\CMake-hdf5-1.8.16\hdf5-1.8.16\src\H5D.c line 358 in H5Dopen2(): not found
    major: Dataset
    minor: Object not found
  #001: D:\Projects\CANoe\90\CMake-hdf5-1.8.16\hdf5-1.8.16\src\H5Gloc.c line 430 in H5G_loc_find(): can't find object
    major: Symbol table
    minor: Object not found
  #002: D:\Projects\CANoe\90\CMake-hdf5-1.8.16\hdf5-1.8.16\src\H5Gtraverse.c line 861 in H5G_traverse(): internal path traversal failed
    major: Symbol table
    minor: Object not found
  #003: D:\Projects\CANoe\90\CMake-hdf5-1.8.16\hdf5-1.8.16\src\H5Gtraverse.c line 596 in H5G_traverse_real(): can't look up component
    major: Symbol table
    minor: Object not found
  #004: D:\Projects\CANoe\90\CMake-hdf5-1.8.16\hdf5-1.8.16\src\H5Gobj.c line 1139 in H5G__obj_lookup(): can't check for link info message
    major: Symbol table
    minor: Can't get value
  #005: D:\Projects\CANoe\90\CMake-hdf5-1.8.16\hdf5-1.8.16\src\H5Gobj.c line 333 in H5G__obj_get_linfo(): unable to read object header
    major: Symbol table
    minor: Can't get value
  #006: D:\Projects\CANoe\90\CMake-hdf5-1.8.16\hdf5-1.8.16\src\H5Omessage.c line 896 in H5O_msg_exists(): unable to release object header
    major: Object header
    minor: Unable to unprotect metadata
  #007: D:\Projects\CANoe\90\CMake-hdf5-1.8.16\hdf5-1.8.16\src\H5O.c line 1963 in H5O_unprotect(): unable to release object header
    major: Object header
    minor: Unable to unprotect metadata
  #008: D:\Projects\CANoe\90\CMake-hdf5-1.8.16\hdf5-1.8.16\src\H5Gobj.c line 1524 in H5O_msg_exists(): H5G__obj_get_linfo
    major: Object cache
    minor: Unable to unprotect metadata
  #009: D:\Projects\CANoe\90\CMake-hdf5-1.8.16\hdf5-1.8.16\src\H5C.c line 5281 in H5C_unprotect(): Entry already unprotected??
    major: Object cache
    minor: Unable to unprotect metadata

我怀疑这是因为库本身在当前形式下不是线程安全的。

我现在的问题是：
如果我使用--enable-threadsafe选项重新编译库，那么我就可以像上面那样使用HDF5文件了。
库本身应该确保一次只有一个线程正在访问文件（或正在进行API调用）吗？如果我重新编译库，我仍然可以使用C ++ API吗？

我还尝试使用互斥锁来锁定API调用，但我仍然遇到了一些问题。

如果有人能帮我解决问题，我将非常感激。我希望我解释得很好。对不起，如果这有点长;）。

提前致谢。

Answer 1

根据HDF5 documentation，它在使用--enable-threadsafe编译时提供了第一级线程安全性。但这仅适用于C库。高级C ++库不支持线程安全。如果你试图运行

./configure --enable-threadsafe --enable-cxx

你会收到一个错误。因此，如果要使用C ++，则必须编译hdf5而不使用“--enable-threadsafe”选项，并且不应同时从不同的线程访问hdf5库。根据我的经验，最好总是从C ++中的同一个线程访问HDF5。

某些Linux发行版通过同时允许--enable-threadsafe和--enable-cxx来应用一个“修复”此限制的修补程序，从而有效地打破了C ++库。较新版本的libhdf5甚至有一个选项--enable-unsupported，这将允许它没有补丁。您将使用这样的“改进的”hdf5软件包随机崩溃。因此，请检查您是否没有获得这样的“改进的”库，并在需要时手动重新编译它。

使用HDF5线程安全库

1 个答案: