Question

我想创建张量流记录来提供我的模型; 到目前为止，我使用以下代码将uint8 numpy数组存储为TFRecord格式;

def _int64_feature(value):
  return tf.train.Feature(int64_list=tf.train.Int64List(value=[value]))


def _bytes_feature(value):
  return tf.train.Feature(bytes_list=tf.train.BytesList(value=[value]))


def _floats_feature(value):
  return tf.train.Feature(float_list=tf.train.FloatList(value=[value]))


def convert_to_record(name, image, label, map):
    filename = os.path.join(params.TRAINING_RECORDS_DATA_DIR, name + '.' + params.DATA_EXT)

    writer = tf.python_io.TFRecordWriter(filename)

    image_raw = image.tostring()
    map_raw   = map.tostring()
    label_raw = label.tostring()

    example = tf.train.Example(features=tf.train.Features(feature={
        'image_raw': _bytes_feature(image_raw),
        'map_raw': _bytes_feature(map_raw),
        'label_raw': _bytes_feature(label_raw)
    }))        
    writer.write(example.SerializeToString())
    writer.close()

我用这个示例代码

阅读

features = tf.parse_single_example(example, features={
  'image_raw': tf.FixedLenFeature([], tf.string),
  'map_raw': tf.FixedLenFeature([], tf.string),
  'label_raw': tf.FixedLenFeature([], tf.string),
})

image = tf.decode_raw(features['image_raw'], tf.uint8)
image.set_shape(params.IMAGE_HEIGHT*params.IMAGE_WIDTH*3)
image = tf.reshape(image_, (params.IMAGE_HEIGHT,params.IMAGE_WIDTH,3))

map = tf.decode_raw(features['map_raw'], tf.uint8)
map.set_shape(params.MAP_HEIGHT*params.MAP_WIDTH*params.MAP_DEPTH)
map = tf.reshape(map, (params.MAP_HEIGHT,params.MAP_WIDTH,params.MAP_DEPTH))

label = tf.decode_raw(features['label_raw'], tf.uint8)
label.set_shape(params.NUM_CLASSES)

并且工作正常。现在我想做同样的事情，我的数组“map”是一个float numpy数组，而不是uint8，我找不到如何做的例子; 我尝试了函数_floats_feature，如果我将标量传递给它，它可以工作，但不能使用数组; 使用uint8，序列化可以通过方法tostring（）;

完成

如何序列化一个float numpy数组？如何读取它？

Answer 1

BytesList和_float_feature期望可迭代。所以你需要传递一个浮动列表。删除def _floats_feature(value): return tf.train.Feature(float_list=tf.train.FloatList(value=value)) numpy_arr = np.ones((3,)).astype(np.float) example = tf.train.Example(features=tf.train.Features(feature={"bytes": _floats_feature(numpy_arr)})) print(example) features { feature { key: "bytes" value { float_list { value: 1.0 value: 1.0 value: 1.0 } } } }中的额外括号，即

{{1}}

Answer 2

我将扩展雅罗斯拉夫的答案。

Int64List，BytesList和FloatList期望iterator of the underlying elements（重复字段）。在您的情况下，您可以使用列表作为迭代器。

你提到：如果我传递一个标量，但是没有数组，它就可以工作。这是预期的，因为当你传递一个标量时，你的_floats_feature会在其中创建一个浮点元素的数组（完全符合预期）。但是当你传递一个数组时，你会创建一个数组列表并将它传递给一个需要浮点列表的函数。

所以只需从函数中移除数组的构造：float_list=tf.train.FloatList(value=value)

Answer 3

当输入nd数组时，Yaroslav的例子失败了：

numpy_arr = np.ones（（3,3））。astype（np.float）

当我使用numpy_arr.ravel（）作为输入时，我发现它有效。但是有更好的方法吗？

Answer 4

在研究类似问题时，我偶然发现了这一点。由于原始问题的一部分是如何从float32读取tfrecords功能，因此我将其留在此处，以防它对任何人有帮助：

如果使用map.ravel()将尺寸为map的{{1}}输入到[x, y, z]中：

_floats_feature

具有float numpy数组的tensorflow记录

4 个答案: