Question

我有一个mbox邮箱，其中包含重复的邮件副本，这些邮件的区别仅在于其“X-Evolution：”标题。

我希望尽可能快速简单地删除重复的内容。看起来这已经写好了，但是我还没有找到它，虽然我看过Python邮箱模块，各种perl mbox解析器，formail等等。

有人有任何建议吗？

Answer 1

这就是我使用的：

rm -f idcache; \
zcat archive_2012.gz  | \
formail -D $((1024*1024*10)) idcache -s | \
gzip -9c  > archive_2012-dedup.gz

删除旧的缓存条目
将旧文件解压缩到stdout
运行formail作为过滤器（具有10兆字节缓存，称为idcache，stdout-to-stdout）
动态重新压缩重复数据删除的流并将其转储到新文件中

经过一些检查后，我用新文件覆盖旧文件。

formail是procmail实用程序的一部分

Answer 2

我没有详细查看formail（procmail的一部分）。确实有这样的选项，例如：http://hints.macworld.com/comment.php?mode=view&cid=115683和http://us.generation-nt.com/answer/deleting-duplicate-mail-messages-help-172481881.html

Answer 3

＆＃39; formail -D＆＃39;和＆＃39;重新格式-D＆＃39;每次执行只能处理一封电子邮件。在处理之前，每个邮件都需要先与mbox分开。我使用来自maildrop的reformail，因为它仍在积极开发中。

删除旧的idcache，tmpmail，nmbox
运行dedup.sh。
nmbox是删除了重复邮件的输出。

<强> dedup.sh

#! /bin/sh
# $1 = mbox, thunderbird mailbox
# wmbox.sh is called for each mail.

cat $1 | reformail -s ./wmbox.sh

<强> wmbox.sh

#! /bin/sh
# stdin: a email
# called by dedup.sh

TM=tmpmail
if [ -f $TM ] ; then
   echo error!
   exit 1
fi
cat > $TM
# mbox format, each mail end with a blank line
echo "" >> $TM

cat $TM | reformail -D 99999999 idcache

# if this mail isn't a dup (reformail return 1 if message-id is not found)
if [ $? != 0 ]; then
   # each mail shall have a message-id
   if grep -q -i '^message-id:' $TM; then
      cat tmpmail >> nmbox
   fi
fi

rm $TM

如何删除mbox格式电子邮箱的重复项（重复数据删除）？

3 个答案: