将h5dump输出重定向(>)到文本文件会导致数据丢失

时间:2016-05-18 16:42:32

标签: linux bash file-io hdf5

我有一个运行以下命令的bash脚本:

h5dump --noindex particle_pos.6400_acetone> tempPythonFile.txt

hdf5文件的内容,particle_pos.6400_acetone,是x,y,z坐标的集合,如下图所示。

HDF5 "particle_pos.6400_acetone" { GROUP "/" {    DATASET "particle position" {
      DATATYPE  H5T_COMPOUND {
         H5T_IEEE_F64LE "x";
         H5T_IEEE_F64LE "y";
         H5T_IEEE_F64LE "z";
      }
      DATASPACE  SIMPLE { ( 7372815 ) / ( 7372815 ) }
      DATA {
         {
            0.0985972,
            0.0051215,
            0.000543894
         },
         {
            0.0986334,
            0.00520195,
            0.000408405
         },

该文件应该看起来像上面的文本,但是当我到文本文件的末尾时,我会看到以下内容。

},
         {
            ,
            -0.162017,

         },
         {
            ,
            ,

         },
         {
            ,
            ,

         },
         {
            ,
            ,

对我来说,看起来正在发生的事情就是丢弃数据,因为空白条目中偶尔会出现一个浮点数。

我在较小的数据集上没有遇到此命令的问题,但是当我的数据集包含7372815个元素时,我开始看到tempPythonFile.txt文件中缺少数据。

是否有更多可接受的方法将HDF5数据输出到文本文件?重定向(>)命令不适合大量数据吗?

谢谢

1 个答案:

答案 0 :(得分:0)

我确实收到了HDF5小组的回复,他们确实发现我使用的HDF5版本存在问题。