在lisp - trie数据结构中优化函数(内存)

时间:2012-11-29 17:15:35

标签: lisp trie

我是一个lisp初学者,我正在尝试编写一个为trie定义类的包,并将整个拼字游戏字典读入其中。结构充当一个节点,每个节点都有一个关联列表,用于跟踪源自它的字母(通向其他子节点)。

这是我的课程代码

(DEFCLASS n-trie ()
  ((word :accessor word
         :initform 'nil
         :initarg :word)
   (word-count :accessor wcount
               :initform 0
               :initarg :wcount)
   (next-letters :accessor next-letters
                 :initform 'nil
                 :initarg :next-letters)))

这是我的添加词功能

(defun add-word (string trie) ;;iterative method for looping through string
  (let ((s (coerce string 'list))
        (tri trie))
    (dolist (item s)
      (cond
       ((assoc item (next-letters tri))
        (incf (wcount tri))
        (setf tri (cdr (assoc item (next-letters tri)))))
       (t
        (incf (wcount tri))
        (setf (next-letters tri) (acons item (make-instance 'n-trie) (next-letters tri)))
        (setf tri (cdr (assoc item (next-letters tri)))))))
    (setf (word tri) string)))

这是打开我的文件(拼字游戏字典)并读取每一行

的函数
(defun read-words (file trie)
  (let((str (open file)))
    (labels ((rec (tri)
                  (let ((line (read-line str nil nil)))
                    (cond 
                     (line (add-word line tri)
                           (rec tri))
                     (t (close str)
                        trie)))))
      (rec trie))))

每当我尝试加载整个字典时,都会出现堆栈溢出。拼字游戏词典中有超过100k的单词,它在6000时失败了...我的内存使用有问题,但我似乎无法说出什么。

我在这些定义中有什么东西本来就是昂贵的记忆吗?我尝试使trie节点成为结构而不是类,并得到类似的结果。我还有一个递归算法,用于从字典中添加一个单词,但它同样糟糕。

我几个小时都在苦苦挣扎,我有点沮丧......

1 个答案:

答案 0 :(得分:1)

我要改变的第一件事是函数read-words。它使用尾递归,看起来像在Scheme中。这在Common Lisp中不是惯用的。使用WITH-OPEN-FILE打开文件并使用循环结构读取行。如果Common Lisp系统没有优化尾递归,则此递归已经在大型文本文件上创建了堆栈溢出。

所以:

  • 不要使用尾递归,如果没有必要,你知道你的CL实现实际上支持它并理解它。例如,高调试模式通常会阻止尾递归优化。

  • 使用WITH-OPEN-FILE。请勿使用OPEN / CLOSE

  • 使用IF代替COND - 尤其是当我们处理正常的真/假谓词时。