TL;DR： 在 on_train_epoch_start 期间，我想在所有训练数据上获得模型的输出，作为一些预训练计算的一部分。我在问什么是闪电友好的方式来做到这一点。
这是一个奇怪的问题。
在我的项目中，我每 10 个 epoch 选择完整训练数据的一个子集，并仅在该子集上进行训练。在计算使用哪个子集的部分过程中，我在训练数据集中的每个数据点上计算模型的输出。
我的问题是，在 pytorch 闪电中执行此操作的最佳方法是什么？目前我有一个带有 on_train_epoch_start 钩子的回调。在此挂钩期间，回调从 trainer.datamodule.train_dataloader() 创建自己的数据加载器，并手动迭代数据加载器，计算模型输出。这不太理想，对吧？
这让我遇到了 pytorch 闪电问题。例如，在 GPU 上训练时，我收到一个错误，因为我的回调使用的是它自己的数据加载器，而不是训练器的 train_dataloader，所以它不在 GPU 上。但是，我无法使用训练器的 train_dataloader，因为在我的回调选择其子集后，它会将训练器的 train_dataloader 更改为该子集，而不是完整数据集。
我想我有两个主要问题：