keras.utils.np_utils.to_categorical中的MemoryError

Question

我有一个数据集，其输出是46226个类别之一。我还有数百万个样本。

但似乎Keras / TensorFlow需要对输出进行单热编码。

问题是，np_utils.to_categorical（y_indices，num_classes）导致内存不足错误，因为我需要一个8000 x 46226矩阵。

我工作的PC有8G内存，当我尝试执行'numpy.zeros（（8000,46226））'时，它运行正常。但是当我将y_indices更改为单热编码时，它出现以下错误：

    ------------------------------------------------------------------------
    MemoryError                            Traceback (most recent call last)
    <ipython-input-9-7b9df1cf8cee> in <module>()
    ----> 1 Y_cat = to_categorical(Y, num_classes=nb_classes)

    c:\program files\anaconda3\envs\python35\lib\site-packages\keras\utils\np_utils.py in to_categorical(y, num_classes)
         22     num_classes = np.max(y) + 1
         23     n = y.shape[0]
    ---> 24     categorical = np.zeros((n, num_classes))
         25     categorical[np.arange(n), y] = 1
         26     return categorical

    MemoryError: 

有没有办法让Keras解决这个障碍？如果有人会指出如何做到这一点，我会很乐意添加一些代码。

Answer 1

您实际上不需要单热编码标签，您可以使用sparse_categorical_crossentropy损失的整数标签，它接受整数标签。

这样就不应该出现内存不足错误。另一种方法是动态生成生成器（与fit_generator一起使用）和单热编码标签。