Gensim Summarizer抛出MemoryError，任何解决方案？

Question

我正在尝试使用Gensim Summarizer生成大型文本文件的摘要。 我收到内存错误。从某个时候开始就面临这个问题，任何帮助 真的很感激。随时可以询问更多细节。

from gensim.summarization.summarizer import summarize

file_read =open("xxxxx.txt",'r')
Content= file_read.read()


def Summary_gen(content):
    print(len(Content))
    summary_r=summarize(Content,ratio=0.02)
    print(summary_r)


Summary_gen(Content)

文件的长度是：

365042

错误消息：

    ---------------------------------------------------------------------------
MemoryError                               Traceback (most recent call last)
<ipython-input-6-a91bd71076d1> in <module>()
     10 
     11 
---> 12 Summary_gen(Content)

<ipython-input-6-a91bd71076d1> in Summary_gen(content)
      6 def Summary_gen(content):
      7     print(len(Content))
----> 8     summary_r=summarize(Content,ratio=0.02)
      9     print(summary_r)
     10 

c:\python3.6\lib\site-packages\gensim\summarization\summarizer.py in summarize(text, ratio, word_count, split)
    428     corpus = _build_corpus(sentences)
    429 
--> 430     most_important_docs = summarize_corpus(corpus, ratio=ratio if word_count is None else 1)
    431 
    432     # If couldn't get important docs, the algorithm ends.

c:\python3.6\lib\site-packages\gensim\summarization\summarizer.py in summarize_corpus(corpus, ratio)
    367         return []
    368 
--> 369     pagerank_scores = _pagerank(graph)
    370 
    371     hashable_corpus.sort(key=lambda doc: pagerank_scores.get(doc, 0), reverse=True)

c:\python3.6\lib\site-packages\gensim\summarization\pagerank_weighted.py in pagerank_weighted(graph, damping)
     57 
     58     """
---> 59     adjacency_matrix = build_adjacency_matrix(graph)
     60     probability_matrix = build_probability_matrix(graph)
     61 

c:\python3.6\lib\site-packages\gensim\summarization\pagerank_weighted.py in build_adjacency_matrix(graph)
     92         neighbors_sum = sum(graph.edge_weight((current_node, neighbor)) for neighbor in graph.neighbors(current_node))
     93         for j in xrange(length):
---> 94             edge_weight = float(graph.edge_weight((current_node, nodes[j])))
     95             if i != j and edge_weight != 0.0:
     96                 row.append(i)

c:\python3.6\lib\site-packages\gensim\summarization\graph.py in edge_weight(self, edge)
    255 
    256         """
--> 257         return self.get_edge_properties(edge).setdefault(self.WEIGHT_ATTRIBUTE_NAME, self.DEFAULT_WEIGHT)
    258 
    259     def neighbors(self, node):

c:\python3.6\lib\site-packages\gensim\summarization\graph.py in get_edge_properties(self, edge)
    404 
    405         """
--> 406         return self.edge_properties.setdefault(edge, {})
    407 
    408     def add_edge_attributes(self, edge, attrs):

MemoryError: 

我曾尝试在互联网上查找此错误，但是，无法找到可行的解决方案。

Answer 1

从日志中看，代码构建了一个邻接矩阵

---> 59 adjacency_matrix = build_adjacency_matrix(graph)

这可能会尝试使用您的365042文档创建一个巨大的邻接矩阵，这些文档无法存储在您的内存中（即RAM）。

你可以尝试：

1. 将文档大小减少到更少的文件（可能以10000开头） 检查是否有效
2. 尝试在内存较多的系统上运行

Answer 2

您是否尝试使用word_count参数代替ratio？

如果上述问题仍无法解决问题，那么由于gensim的实施限制而导致问题无法解决。如果仍然存在OOM错误，则使用gensim的唯一方法是拆分文档。这也将加快您的解决方案（如果文档非常大，那么它不应该成为问题。）

summarize：

的问题是什么

gensim＆＃39; s summarizer默认情况下使用TextRank，这是一种使用PageRank的算法。在gensim中，遗憾的是using a Python list of PageRank graph nodes已实施，因此如果您的图表太大，它可能会失败。

BTW是用文字或字符衡量的文件长度？