Question

我对我的数据集有一个带有“元数据”的字典 {'m1': array_1, 'm2': array_2, ...}.每个数组的形状都是（N，...），其中N是样本数。

问题：是否可以创建tf.data.Dataset来为数据集iterator.get_next（）的每次迭代输出字典{'meta_1': sub_array_1, 'meta_2': sub_array_2, ...}？在这里，sub_array_i应该包含一个批处理的第i个元数据，因此应该具有形状（batch_sz，...）。

到目前为止，我尝试使用tf.data.Dataset.from_generator()，如下所示：

N = 100
# dictionary of arrays:
metadata = {'m1': np.zeros(shape=(N,2)), 'm2': np.ones(shape=(N,3,5))} 
num_samples = N

def meta_dict_gen():
    for i in range(num_samples):
        ls = {}
        for key, val in metadata.items():
            ls[key] = val[i]
        yield ls

dataset = tf.data.Dataset.from_generator(meta_dict_gen, output_types=(dict))

与此相关的问题似乎在output_types=(dict)中。上面的代码向我抛出

TypeError：参数'Tout'的预期数据类型不是。

我正在使用tensorflow 1.8和python 3.6。

Answer 1

因此实际上可以按照您的意愿去做，只需要具体说明字典内容即可：

import tensorflow as tf
import numpy as np

N = 100
# dictionary of arrays:
metadata = {'m1': np.zeros(shape=(N,2)), 'm2': np.ones(shape=(N,3,5))}
num_samples = N

def meta_dict_gen():
    for i in range(num_samples):
        ls = {}
        for key, val in metadata.items():
            ls[key] = val[i]
        yield ls

dataset = tf.data.Dataset.from_generator(
    meta_dict_gen,
    output_types={k: tf.float32 for k in metadata},
    output_shapes={'m1': (2,), 'm2': (3, 5)})
iter = dataset.make_one_shot_iterator()
next_elem = iter.get_next()
print(next_elem)

输出：

{'m1': <tf.Tensor 'IteratorGetNext:0' shape=(2,) dtype=float32>,
 'm2': <tf.Tensor 'IteratorGetNext:1' shape=(3, 5) dtype=float32>}

创建一个输出dict的Tensorflow数据集

1 个答案: