PyTorch：从多个数据集中进行批处理

Question

我有多个要在训练中使用的数据集。我希望每个批次都来自一个数据集，但希望每个时期都具有（可能）所有数据集的批次。

将数据集合并为一个简单的str.replace(/\r?\n|\r/g, '').match(/<tr data-market-row="price_try"(.*)\/price_try"><\/a><\/td><\/tr>/)[1]; 对象并使用默认的Dataset会导致一批来自不同数据集的样本。

我自己的猜测是每个数据集都有一个单独的Dataloader对象，并覆盖数据加载器或采样器，但是我不知道该怎么做。

Answer 1

我认为解决问题的最佳方法是使用单个数据加载器来拥有一个合并的数据集，但是要有一个自定义的BatchSampler，它会根据合并的数据集内的不同数据集产生索引。