三维稀疏矩阵到CNN中

时间:2020-08-19 13:15:08

标签: tensorflow memory sparse-matrix

我有一个内存问题,我想通过使用稀疏矩阵作为输入到我的CNN中来解决。 现在,我使用一个大小为(108,71,9)的密集矩阵,每108X71会有11个地方充满数字,其余为零。因此,我可以使用稀疏矩阵。唯一的问题是,我找不到创建三维稀疏矩阵的任何可能性。 下一步是将此稀疏矩阵放入我的CNN中。我已经在tensorflow 2.2.0上创建了这个CNN。

model = Sequential()
model.add(Conv2D(32, (6, 6), input_shape=( 108, 71, 9)))
model.add(Activation("relu"))
model.add(MaxPooling2D(pool_size=(2, 2)))

model.add(Conv2D(32, (6, 6)))
model.add(Activation("relu"))
model.add(MaxPooling2D(pool_size=(2, 2)))#,strides=4))

model.add(Conv2D(32, (6, 6)))
model.add(Activation("relu"))
model.add(MaxPooling2D(pool_size=(2, 2)))

model.add(Flatten())
model.add(Dense(256, activation='relu'))
model.add(Dense(1, activation = "sigmoid"))
model.compile(optimizer=Adam(lr=0.0001), loss='mean_squared_error') 

你们中的任何人都知道如何创建三维稀疏矩阵以放入模型吗?因为此时我有460GB的数据,而我只能加载100GB的数据。 我曾尝试以块的形式加载数据,但是这花费了太多时间,因此在GPU上运行模型需要50天。 如果您还有其他建议使我的数据变小,我很乐意听到! 谢谢:)

0 个答案:

没有答案