如何有效地加载大型图像数据集？

Question

我正在尝试使用自动编码器处理图像着色器。 “输入”是灰度图像，“标签”是其对应的彩色图像。我正在尝试使其在数据集的子集上的Google colab上工作。问题是当我尝试将图像列表转换为numpy数组时，会话崩溃。 这是我尝试过的：

public class Controller
{
    IService service {get; set;}

    // dependency injection, can use fakes
    public Controller(IService service) {
        this.service = service;
    }

    public void methodToTest(string itemName, string itemDescription, int quantity)
    {
        Item newItem = new Item
        {
            name = name,
            description = description
        }

        for (int i = 1; i <= quantity; i++)
        {
            // need to verify that doSomething() is called with a parameter of type Item
            // and that it is called quantity times
            // and that newItem has correct parameters
            service.doSomething(newItem);
        }
    }
}

有没有办法只加载几批，然后进给它们，而在对其进行模型训练时，又加载另一组？