将数据分成批次

时间:2021-04-22 23:30:04

标签: split pytorch dataset batch-processing dataloader

我目前有以下数据:

f_map, inputs, s_bias = ml_dataset.dataset_for_s_bias()

其中 f_map 是矩阵张量,输入是浮点数张量,s_bias 是浮点数张量。前两个 f_map 和输入是我的 ML 回归算法的输入,而 s_bias 是预期的输出。之所以有两种输入,是因为f_map是用CNN处理的,CNN将f_map中的每个矩阵都变成了一个浮点数,与输入的张量串联起来,得到的张量输入到MLP中得到一个预测对于 s_bias。

我不知道如何将 f_map、inputs 和 s_bias 拆分成批。我尝试使用数据加载器,但这导致我在需要张量的 CNN 中出现问题(我的 CNN 中有一个解压操作,但数据加载器与解压不兼容)。我需要 f_map、inputs 和 s_bias 以相同的方式拆分并保留顺序。这样做的最佳方法是什么?

1 个答案:

答案 0 :(得分:0)

我想通了。当我最初使用数据加载器时,我假设数据加载器本身是一批。但是,我需要遍历数据加载器以访问其中的批次。这些批次具有正确的类型(张量)。

相关问题