长句子对深度学习模型不利吗？

Question

有兴趣知道长句子是否适合张量2张量模型训练。为什么或者为什么不呢？

Answer 1

理想地，训练数据应与目标测试数据具有相同的句子长度分布。例如。在机器翻译中，如果打算由最终模型翻译长句子，则类似的长句子也应用于培训。 Transformer模型似乎并不能推广到比用于训练的句子更长的句子，但是限制训练中的最大句子长度可以使用更高的批处理大小，这很有用（Popel and Bojar, 2018）。