Question

我有一个TextLineDataset，它可以从文本文件中读取行。

此数据集读取文件并以滑动窗口方式返回它，例如，如果我的文本文件包含：

I am going to school
School is far from home

我的数据集返回：

I am going
am going to
going to school
...

（假设我一次想要3个单词，每步从一个单词滑下来）

我对此感到满意。

但是现在我想针对数据集返回的每个句子，提取前两个单词并说它们是我的特征，并提取最后一个单词并说它是我的标签

我当然希望它成为计算图（如我的数据集）的一部分，而不是在运行时

这是我的代码：

sentences = tf.data.TextLineDataset("data/train.src")
words = sentences.map(lambda string: tf.string_split([string]).values)
flat_words = words.flat_map(tf.data.Dataset.from_tensor_slices)

flat_words = flat_words.window(3, 1, 1, True).flat_map(lambda x: x.batch(3)).batch(4)

iterator = flat_words.make_initializable_iterator()
next_element = iterator.get_next()

sess = tf.Session()
sess.run(tf.tables_initializer())
sess.run(iterator.initializer)

print(sess.run(next_element))

预先感谢

Answer 1

您可以再添加一个映射功能。这样的事情将把除了最后一个单词以外的所有单词映射为一组功能，而仅将最后一个单词映射为标签：

def map_to_feats_and_lbl(x):
  return x[:-1], x[-1]

我们可以插入以下内容：

flat_words = flat_words \
  .window(3, 1, 1, True) \
  .flat_map(lambda x: x.batch(3)) \
  .map(map_to_feats_and_lbl) \
  .batch(4)

并以与您已经做过的类似的方式使用：

iterator = flat_words.make_initializable_iterator()
feats, label = iterator.get_next()


sess = tf.Session()
sess.run(tf.tables_initializer())
sess.run(iterator.initializer)

feat_val, label_val = sess.run([feats, label])
print (feat_val)
print (label_val)

从Tensorflow数据集中提取特征和标签

1 个答案: