使用tensorflow建立语言模型,数据集形状问题

时间:2018-07-30 10:03:34

标签: tensorflow

我正在尝试构建翻译模型,因此我将文本作为输入,并将其编码为整数列表(编码的类型并不重要)。到目前为止,到目前为止。 可以说,这就是我到目前为止所拥有的:

<class 'list'>: [1645, 3, 205, 753, 753, 1332, 18, 7, 7, 24]

现在我要执行以下操作:

ds = tf.data.Dataset.from_tensors(encoded_txt)

ds = ds.batch(32)

(请问为什么我们需要第一行才能执行第二行?)

但是从这行中我会得到:

  

shape =(?, 32)

我不明白为什么? 我的批处理大小为32和10个数字, 为什么不是(1,32)(带有填充或其他内容)?

这在代码中影响我之后,我真的需要了解如何处理它。

顺便说一句,重塑是行不通的:(

谢谢!

0 个答案:

没有答案