从序列中删除所有重复元素

时间:2019-06-09 23:59:55

标签: common-lisp hashtable sequence sbcl

Common Lisp序列函数remove-duplicates在每个多重性的后面保留一个元素。以下类似功能remove-equals的目标是删除 all 重复项。

但是,我想使用内置函数remove-if(而不是迭代)和SBCL的哈希表功能用于:test函数,以将时间复杂度保持在O(n)。迫在眉睫的问题是,SBCL相等性测试需要是全局的,但是该测试还需要依赖于key的{​​{1}}参数。可以满足两个要求吗?

remove-equals

3 个答案:

答案 0 :(得分:6)

define-hash-table-test的第三个参数将测试与哈希函数相关联。使用sxhash会破坏目的,因为应该针对test函数进行定制。 (equal x y)表示(= (sxhash x) (sxhash))。因此,第二个参数应为函数test-hash,以使(funcall test x y)隐含(= (test-hash x) (test-hash y))。仅具有测试功能是不可能做到这一点的。最好通过记录它需要散列支持来规避整个问题:

(defun remove-duplicated (sequence &key (test #'eql) (start 0) end (key #'identity))
  "Removes all repetitive sequence elements based on equality test.
   equalily tests other than eq, eql, equal and equalp requires you
   add it to be allowed in a hash table eg. sb-ext:define-hash-table-test in SBCL"

  (let ((ht (make-hash-table :test test)))
    (iterate (for elt in-sequence (subseq sequence start end))
             (incf (gethash (funcall key elt) ht 0)))
    (remove-if (lambda (elt)
                 (/= 1 (gethash elt ht)))
               sequence :start start :end end :key key)))

现在,如果用户要进行自定义测试,则需要自己进行:

(defun car-equals (a b)
  (equal (car a) (car b)))

(defun car-equals-hash (p)
  (sxhash (car p)))

(sb-ext:define-hash-table-test car-equals car-equals-hash)

(car-equals '(1 2 3 4) '(1 3 5 7)) ; ==> t
(defparameter *ht* (make-hash-table :test 'car-equals))
(setf (gethash '(1 2 3 4) *ht*) 'found)
(gethash '(1 3 5 7) *ht*) ; ==> found

(remove-duplicated '((5 0 1 2) (5 1 2 3) (5 1 3 2) (5 2 3 4)) 
                   :test #'car-equals 
                   :key #'cdr) 
; ==> ((5 0 1 2) (5 2 3 4))

答案 1 :(得分:5)

像这样的具有读取时间计算功能的东西将无法满足您的要求。从您的代码简化:

(defun foo (a b test)
  #.(defun equality-test (x y)
      (funcall test x y))
  (funcall #'equality-test a b))

这是行不通的。

原因1 读取时间创建的函数无法访问周围代码中的词法变量(此处无法引用test,因为在读取过程中不存在具有功能foo的环境)

test中的equality-test变量未引用词法变量。它是未定义/未声明的。

原因2 :DEFUN评估为符号

阅读并评估读取时间的代码后,代码如下所示:

(defun foo (a b test)
   equality-test
   (funcall #'equality-test a b))

嗯,equality-test是一个未绑定的变量。在运行时出现错误。

原因3 :功能equality-test可能不存在

如果我们使用文件编译器编译代码,则在读取表单时会在编译时环境中创建函数equality-test,但它不会成为已编译代码的一部分。

答案 2 :(得分:2)

免责声明:我发现@Sylwester的答案更清晰,更清晰-更好(没有宏)。

但是,这只是假设(但不是一个好习惯):

(ql:quickload :iterate)    ;; you forgot these - but they are necessary
(use-package :iterate)     ;; for your code to run - at least my definition
(ql:quickload :alexandria) ;; of 'minimal working example' is to include imports.

(defmacro remove-equals (sequence &key (test #'eql) (start 0) end (key #'identity))
  "Remove all repetitive sequence alements based on equality test."
  (alexandria:once-only (sequence test start end key) ; as hygyenic macro
    `(progn
       (defun equality-test (x y)
          (funcall ,test (funcall ,key x) (funcall ,key y)))
       (sb-ext:define-hash-table-test equality-test sxhash)
       (let ((ht (make-hash-table :test #'equality-test)))
          (iterate (for elt in-sequence (subseq ,sequence ,start ,end))
                   (incf (gethash (funcall ,key elt) ht 0)))
          (remove-if (lambda (elt)
                       (/= 1 (gethash (funcall ,key elt) ht)))
                     ,sequence :start ,start :end ,end :key ,key)))))

(remove-equals '(1 2 3 1 4 5 3) :test #'= :end 6)
;; WARNING: redefining COMMON-LISP-USER::EQUALITY-TEST in DEFUN
;; 
;; (2 3 4 5 3)

(describe 'equality-test) ;; shows new definition
;; COMMON-LISP-USER::EQUALITY-TEST
;;   [symbol]
;; 
;; EQUALITY-TEST names a compiled function:
;;   Lambda-list: (X Y)
;;   Derived type: (FUNCTION (T T) (VALUES BOOLEAN &OPTIONAL))
;;   Source form:
;;     (SB-INT:NAMED-LAMBDA EQUALITY-TEST
;;         (X Y)
;;       (BLOCK EQUALITY-TEST
;;         (FUNCALL #'= (FUNCALL #1=#<FUNCTION IDENTITY> X)
;;                  (FUNCALL #1# Y))))

警告将始终发生-如果您使用多个哈希表,则肯定会造成干扰并导致错误。所以我不建议这样做!