张量流中的tf.data.Dataset中的填充

时间:2020-08-05 18:37:10

标签: python-3.x tensorflow2.0 tensorflow-datasets language-translation data-pipeline

代码:

a=training_dataset.map(lambda x,y: (tf.pad(x,tf.constant([[13-int(tf.shape(x)[0]),0],[0,0]])),y))

出现以下错误:

TypeError: in user code:

<ipython-input-32-b25101c2110a>:1 None  *
    a=training_dataset.map(lambda x,y: (tf.pad(tensor=x,paddings=tf.constant([[13-int(tf.shape(x)[0]),0],[0,0]]),mode="CONSTANT"),y))
/usr/local/lib/python3.6/dist-packages/tensorflow/python/framework/constant_op.py:264 constant  **
    allow_broadcast=True)
/usr/local/lib/python3.6/dist-packages/tensorflow/python/framework/constant_op.py:282 _constant_impl
    allow_broadcast=allow_broadcast))
/usr/local/lib/python3.6/dist-packages/tensorflow/python/framework/tensor_util.py:456 make_tensor_proto
    _AssertCompatible(values, dtype)
/usr/local/lib/python3.6/dist-packages/tensorflow/python/framework/tensor_util.py:333 _AssertCompatible
    raise TypeError("Expected any non-tensor type, got a tensor instead.")

TypeError: Expected any non-tensor type, got a tensor instead.

但是,当我使用时:

a=training_dataset.map(lambda x,y: (tf.pad(x,tf.constant([[1,0],[0,0]])),y))

上面的代码工作正常。 这使我得出结论:13-tf.shape(x)[0]出了点问题,但无法理解。 我尝试将tf.shape(x)[0]转换为int(tf.shape(x)[0]),但仍然遇到相同的错误。

我想要代码做什么: 我有一个tf.data.Dataset对象,该对象具有长度为(None,128)的可变长度序列,其中第一维(无)小于13。我想填充序列,使每个集合的大小为13,即{{ 1}}。 有其他替代方法(如果上述问题无法解决)?

1 个答案:

答案 0 :(得分:-1)

有效的解决方案:

使用:

paddings = tf.concat(([[13-tf.shape(x)[0],0]], [[0,0]]), axis=0)

代替使用:

paddings = tf.constant([[13-tf.shape(x)[0],0],[0,0]])

为我工作。 但是,我仍然无法弄清楚为什么后者不起作用。