创建1578627的numpy数组时出现内存错误

Question

以下是代码https://text-share.com/view/90024556

# Problem on this line
train_x = tokenizer.sequences_to_matrix(allWordIndices, mode='binary')

这个tokenizer.sequences_to_matrix创建一个1578627的矩阵并抛出一个内存错误我该怎么做才有办法批量执行此操作tokenizer.sequences_to_matrix

Answer 1

在链接中，您已将num num个字组合为miximum。应用一小部分来克服你的记忆问题。

max_words=100000
tokenizer = Tokenizer(num_words=max_words)
...

Answer 2

除了@loannis答案，您可以先安装令牌生成器，然后再进行

x -- A -- C <--(origin/new-branch-name)
      \
       B <--(old-branch-name)

这可以帮助您确定内存中可以存储的内容和不能存储的内容。