Question

在此之后我完全被大脑炸掉了，我需要找到2个文件之间最长的公共子串，一个小文件和一个巨大的文件。我甚至不知道从哪里开始搜索，到目前为止我所拥有的

import java.io.BufferedReader;
import java.io.FileReader;
import java.io.IOException;

public class MyString
{
    public static void main (String[] args) throws IOException
    {
        BufferedReader br = new BufferedReader(new FileReader("MobyDick.txt"));
        BufferedReader br2 = new BufferedReader(new FileReader("WarAndPeace.txt"));
        String md, wp;
        StringBuilder s = new StringBuilder();
        while ((md = br.readLine()) != null)
        {
            s.append(md).append(" ");
        }
        md = s + "";
        s.setLength(0);
        while ((wp = br2.readLine()) != null)
        {
            s.append(wp).append(" ");
        }
        wp = s + "";
        s.setLength(0);

        md = md.replaceAll("\\s+", " "); //rids of double spaces
        wp = wp.replaceAll("\\s+", " "); //rids of double spaces
    }
}

我到目前为止所做的是将每个文件放入一个字符串构建器，然后放入一个字符串中以消除双重空格（它在MobyDick.txt中出现了很多）。我找到了这段代码

public static String longestSubstring(String str1, String str2) {

StringBuilder sb = new StringBuilder();
if (str1 == null || str1.isEmpty() || str2 == null || str2.isEmpty())
  return "";

// ignore case
str1 = str1.toLowerCase();
str2 = str2.toLowerCase();

// java initializes them already with 0
int[][] num = new int[str1.length()][str2.length()];
int maxlen = 0;
int lastSubsBegin = 0;

for (int i = 0; i < str1.length(); i++) {
for (int j = 0; j < str2.length(); j++) {
if (str1.charAt(i) == str2.charAt(j)) {
if ((i == 0) || (j == 0))
   num[i][j] = 1;
else
   num[i][j] = 1 + num[i - 1][j - 1];

if (num[i][j] > maxlen) {
  maxlen = num[i][j];
  // generate substring from str1 => i
  int thisSubsBegin = i - num[i][j] + 1;
  if (lastSubsBegin == thisSubsBegin) {
     //if the current LCS is the same as the last time this block ran
     sb.append(str1.charAt(i));
  } else {
     //this block resets the string builder if a different LCS is found
     lastSubsBegin = thisSubsBegin;
     sb = new StringBuilder();
     sb.append(str1.substring(lastSubsBegin, i + 1));
  }
  }
  }
  }}

  return sb.toString();
  }

这段代码只对小文件有帮助，每次我用大文件运行它都会得到一个 “内存不足：java堆空间”错误。我需要正确的算法来摆脱堆空间问题，而且我不能增加java内存，任何人都可以帮助或指出我正确的方向吗？

Answer 1

首先，您需要准确识别为什么这是一个内存耗尽，然后您就可以开始解决它了。

这个声明作为一个潜在的问题跳出来：

int[][] num = new int[str1.length()][str2.length()];

战争与和平的长度超过300万个字符，而Moby Dick的长度只有它的一半，所以我们保守地说它长达一百万个字符。

您正在尝试为3,000,000,000,000个整数分配空间，每个整数为4个字节，其大小为12,000,000,000,000个字节或略低于11 TB。

希望很清楚为什么算法不适合这种长度的字符串。

值得庆幸的是，计算机科学的一个主要理论是你总能用时间换取记忆，反之亦然。

相反，您想尝试generalized suffix tree。这具有\ Theta（n + m）的存储器成本，并且可以在\ Theta（n + m）中构造，这更易于管理。

Here是生成此类树的O（n）算法的绝佳指南。

一旦你有了后缀树，找到LCS可以通过查找树中最深的节点来完成，其中子树包含两个输入字符串的子串。典型的策略是标记所有节点＆＃39; v＆＃39;带着旗帜＆＃39;我＆＃39;如果他们满足财产：

具有root v的子树包含字符串S_i的子字符串

然后找到最深的节点v，其中v被标记为 i ，范围内的所有 i （在这种情况下，只有0和1）。

2个HUGE文件之间最长的公共子串 - 内存不足：java堆空间

1 个答案: