Question

让我们考虑一个有两个特征的玩具数据集：

value（例如1, 2, 3, 4, 5, 111, 222, 333, 444, 555）
sequence_id（例如0, 0, 0, 0, 0, 1, 1, 1, 1, 1）

此数据基本上由两个扁平化的序列组成，分别是1, 2, 3, 4, 5（序列0）和111, 222, 333, 444, 555（序列1）。

我想生成大小为t（例如3）的序列，该序列由来自同一序列（sequence_id）的连续元素组成，我不希望序列包含属于到不同的sequence_id。

例如，在不进行任何改组的情况下，我希望获得以下批次：

第一批：1, 2, 3，
第二批：2, 3, 4，
第三批：3, 4, 5，
第4批：111, 222, 333，
第五批：222, 333, 444，
第六批：333, 444, 555，
第7批：1, 2, 3，
等

我知道如何使用tf.data.Dataset.window或tf.data.Dataset.batch生成序列数据，但是我不知道如何防止序列包含不同sequence_id的混合（例如，序列{{ 1}}无效，因为它混合了序列4, 5, 111和序列0中的元素。

以下是我失败的尝试：

输出：

import tensorflow as tf

data = tf.data.Dataset.from_tensor_slices(([1, 2, 3, 4, 5, 111, 222, 333, 444, 555], 
                                           [0, 0, 0, 0, 0, 1, 1, 1, 1, 1]))\
                .window(3, 1, drop_remainder=True)\
                .repeat(-1)\
                .flat_map(lambda x, y: x.batch(3))\
                .batch(10)
data_it = data.make_initializable_iterator()
next_element = data_it.get_next()

with tf.Session() as sess:
    sess.run(data_it.initializer)
    print(sess.run(next_element))

Answer 1

您可以使用filter()来判断sequence_id是否一致。由于filter()转换当前不支持嵌套数据集作为输入，因此您需要zip()。

import tensorflow as tf

data = tf.data.Dataset.from_tensor_slices(([1, 2, 3, 4, 5, 111, 222, 333, 444, 555],
                                           [0, 0, 0, 0, 0, 1, 1, 1, 1, 1]))\
                .window(3, 1, drop_remainder=True) \
                .flat_map(lambda x, y: tf.data.Dataset.zip((x,y)).batch(3))\
                .filter(lambda x,y: tf.equal(tf.size(tf.unique(y)[0]),1))\
                .map(lambda x,y:x)\
                .repeat(-1)\
                .batch(10)
data_it = data.make_initializable_iterator()
next_element = data_it.get_next()

with tf.Session() as sess:
    sess.run(data_it.initializer)
    print(sess.run(next_element))

[[  1   2   3]
 [  2   3   4]
 [  3   4   5]
 [111 222 333]
 [222 333 444]
 [333 444 555]
 [  1   2   3]
 [  2   3   4]
 [  3   4   5]
 [111 222 333]]

使用tf.data批处理顺序数据

1 个答案: