Question

我试图使用模式匹配算法实现抄袭检测软件。我遇到了KMP Algorithm Here并尝试了c＃实现。我可以看到它对于实际文件来说不是那么快（不是字符串，我使用iText上传了两个pdf文档，并在这两篇论文中检查了抄袭。大约50页）。

它真的很慢，我不知道该怎么做。我也看过 Boyer Moore 和 Rabin Karp 。

我目前正在做的是记录文档中的每个句子（分成＆＃39;。＆＃39;）并扫描整个参考文档（第2个文档）以进行匹配。然后采取下一句等等...... 我完全清楚这可能非常昂贵。但我不知道如何在不使用这种方法的情况下实现字符串（模式）匹配。这是我最后一年的项目，我得到了一个话题，所以我必须使用字符串匹配。（不允许做基于引文的剽窃，语义或向量空间。）

文本和模式越大，算法越慢（非常慢，甚至不太慢）。还有其他方法可以解决这个问题，我不知道吗？或者我的方法可以使用更快的算法吗？

修改

我的代码如下：`

public class MatchChecker
{
    public void KMPSearch(string pattern, string text, int page)
    {
        if (pattern.Trim() != "")
        {
            int M = pattern.Length;
            int N = text.Length;

            // create lps[] that will hold the longest
            // prefix suffix values for pattern
            int[] lps = new int[M];
            int j = 0;  // index for pat[]

            // Preprocess the pattern (calculate lps[]
            // array)
            computeLPSArray(pattern, M, lps);

            int i = 0;  //index for text[]
            while (i < N)
            {
                if (pattern[j] == text[i])
                {
                    j++;
                    i++;
                }
                if (j == M)
                {
                    Console.WriteLine("Found pattern " + pattern + " at page " + page);
                    j = lps[j - 1];
                }
                //mismatch after j matches 
                else if (i < N && pattern[j] != text[i])
                {
                    //Do not match lps[0..lps[j-1]] characters,
                    //they will match anyway
                    if (j != 0)
                        j = lps[j - 1];
                    else
                        i = i + 1;
                }
            }
        }
    }

    private void computeLPSArray(string pattern, int M, int[] lps)
    {

        //length of the previous longest prefix suffix
        int length = 0;
        int i = 1;
        lps[0] = 0;     //lps[0]is always 0

        //the loop calculates lps[i] for i = 1 to M - 1
        while (i < M)
        {
            if (pattern[i] == pattern[length])
            {
                length++;
                lps[i] = length;
                i++;
            }
            else  // (pat[i] != pat[len])
            {
                // This is tricky. Consider the example.
                // AAACAAAA and i = 7. The idea is similar 
                // to search step.
                if (length != 0)
                {
                    length = lps[length - 1];

                    // Also, note that we do not increment
                    // i here
                }
                else  // if (len == 0)
                {
                    lps[i] = length;
                    i++;
                }
            }
        }
    }

    public string ReadDocPDF()
    {
        List<string> pages = new List<string>();
        PdfReader reader2 = new PdfReader(@"C:\Users\obn\Desktop\project\chapter1.pdf");
        string strText = string.Empty;

        for (int page = 1; page <= reader2.NumberOfPages; page++)
        {
            ITextExtractionStrategy its = new SimpleTextExtractionStrategy();
            PdfReader reader = new PdfReader(@"C:\Users\obn\Desktop\project\chapter1.pdf");
            String s = PdfTextExtractor.GetTextFromPage(reader, page, its);

            s = Regex.Replace(Encoding.UTF8.GetString(ASCIIEncoding.Convert(Encoding.Default, Encoding.UTF8, Encoding.Default.GetBytes(s))).Replace(",", ""), "[0-9]", "").ToLower();
            pages.Add(s);
            strText = strText + s;
            reader.Close();
        }
        return strText;
    }

    public void CheckForPlag()
    {
        string document = ReadDocPDF().Trim();
        string[] sentences = document.Split(new string[] { "\n", "\t\n\r", ". ", "." }, StringSplitOptions.RemoveEmptyEntries);

        foreach(string sentence in sentences) {
            PdfReader reader2 = new PdfReader(@"C:\Users\obn\Documents\visual studio 2015\Projects\PlagDetector\PlagDetector\bin\Debug\test3.pdf");
            for (int page = 1; page <= reader2.NumberOfPages; page++)
            {
                ITextExtractionStrategy its = new SimpleTextExtractionStrategy();
                PdfReader reader = new PdfReader(@"C:\Users\obn\Documents\visual studio 2015\Projects\PlagDetector\PlagDetector\bin\Debug\test3.pdf");
                String s = PdfTextExtractor.GetTextFromPage(reader, page, its);

                s = Regex.Replace(Encoding.UTF8.GetString(ASCIIEncoding.Convert(Encoding.Default, Encoding.UTF8, Encoding.Default.GetBytes(s))).Trim().Replace(".","").Replace(",","").Replace("\n", ""), "[0-9]", "").ToLower();
                KMPSearch(sentence, s, page);
                reader.Close();
            }
        }


    }
}`

Answer 1

你的算法正在进行大量的重复搜索纯粹是一种蛮力。可以考虑一些问题特征来优化它。你如何定义抄袭＆＃39;？ content-1和content-2几乎相似。我们说> 80％是相同的。即内容-1被取20％被改变以产生内容-2。

现在，让我们试着解决：将content-1转换为content-2会有什么代价（没有变化）？这是DP（动态编程世界）中众所周知的问题EDIT Distance problem。标准问题涉及字符串距离，但您可以轻松地将其修改为单词而不是字符。

现在，上述问题将给您最少的内容-1转换为内容-2的更改。使用content-1的总长度，我们可以轻松地计算从content-1转到content-2的更改百分比。如果它低于固定的阈值（比如说20％）那么就宣告抄袭。

大字符串

修改

1 个答案: