如何使用数据集变换将数据集简化为一个样本

Question

我正尝试在Huggingfaces模型的帮助下使用Pytorch调整Reformer模型：google / reformer-enwik8，它需要将所有数据打包到一个样本中，然后需要填充到65536个令牌中。 为此，我想知道如何或是否可以在使用DataLoader加载数据之前直接使用torchvision转换来完成此任务。谢谢。