Question

我有一个搜索列表的功能，并且列表中的每个项目都有另一个列表。这两个列表必须转换为文本文件才能导入软件。我遇到的问题很慢...

我的第一个列表大约有500条记录，并且该列表中的每个记录还有另一个列表，范围从1条记录到无穷大。这大约需要20分钟才能完成。 当我评论更新（更新2个列表中每个项目的状态）时，时间降至9分钟。

有人可以帮助我吗？

private String getExportacaoApontamento(
            String idsExportar,
            String dataInicial,
            String dataFinal,
            String status,
            String tipoFiltro,
            String filtro,
            String turma,
            boolean exportarTodos) throws SQLException {
        StringBuilder stringBuilder = new StringBuilder();        

        try (
                Connection conMySql = U_Conexao.getConexaoMySQL();
                Connection conOracle = U_Conexao.getConexaoOracle()) {

            if (conMySql != null) {
                List<C_Sequencia> listSequencia;
                R_Sequencia r_Sequencia = new R_Sequencia(conMySql, null);

                if (status.equals(String.valueOf(C_Status.TODOS))) {
                    status = C_Status.PENDENTE + ", " + C_Status.EXPORTADO;
                }

                String orderBy = "S." + C_Sequencia.DATA + ", S." + C_Sequencia.COD_COLETOR + ", S." + C_Sequencia.COD_FISCAL;

                if (exportarTodos == false) {
                    listSequencia = r_Sequencia.listExportarId(idsExportar, dataInicial, dataFinal, orderBy);
                } else {
                    tipoFiltro = verificarFiltroApontamento(tipoFiltro);

                    if (filtro == null || filtro.isEmpty()) {
                        listSequencia = r_Sequencia.listExportarData(dataInicial, dataFinal, status, turma, orderBy);
                    } else {
                        listSequencia = r_Sequencia.listExportarFiltro(dataInicial, dataFinal, tipoFiltro, filtro, status, turma, orderBy);
                    }
                }

                if (!listSequencia.isEmpty()) {

                    if (!verificarLiberacoes(listSequencia, conMySql, conOracle)) {
                        return "-1";
                    }

                    C_Sequencia seqAntiga = null;
                    R_Producao r_Producao = new R_Producao(conMySql, conOracle);

                    for (C_Sequencia sequencia : listSequencia) {

                        C_Sequencia seqNova = sequencia;

                        String retornoSequencia = gerarSequencia(seqAntiga, seqNova);

                        if (!retornoSequencia.isEmpty()) {
                            stringBuilder.append(retornoSequencia);                             
                        }

                        List<C_Producao> listProducao = r_Producao.getProducaoExportar(sequencia.getChave(), status);
                        for (C_Producao producao : listProducao) {
                            DecimalFormat decimal = new DecimalFormat("########.00");
                            String prod = String.valueOf(decimal.format(Double.parseDouble(producao.getProducao())));
                            String meta = String.valueOf(decimal.format(Double.parseDouble(producao.getMeta())));
                            prod = prod.replace(",", "");
                            meta = meta.replace(",", "");
                            stringBuilder.append("02;")
                                    .append(String.format("%5d", producao.getCodColetor())).append(";")
                                    .append(U_DataHora.formatarData(producao.getDataHora(), U_DataHora.DDMMYYYY_HHMMSS, U_DataHora.DDMMYYYY)).append(";")
                                    .append(String.format("%10d", producao.getFuncionario().getMatricula())).append(";")
                                    .append(String.format("%9d", sequencia.getCodCc())).append(";")
                                    .append(String.format("%4d", sequencia.getCodOp())).append(";")
                                    .append(String.format("%4d", sequencia.getCodOp())).append(";")
                                    .append("      ;")
                                    .append(String.format("%6d", Long.parseLong(sequencia.getCodFazenda()))).append(";")
                                    .append(String.format("%6d", Long.parseLong(sequencia.getCodTalhao()))).append(";")
                                    .append(String.format("%10s", prod)).append(";")
                                    .append("        0000000;")
                                    .append(";")
                                    .append("          ;")
                                    .append(String.format("%9s", meta)).append(";")
                                    .append(String.format("%4d", sequencia.getCodSequencia())).append(";")
                                    .append(" ;")
                                    .append(" ;")
                                    .append("     ;")
                                    .append("     ;")
                                    .append(" ;")
                                    .append(" ;")
                                    .append(String.format("%9d", sequencia.getCodOs())).append(";")
                                    .append("\r\n");

                            if (producao.getStatus().getStatus() != C_Status.EXPORTADO) {
                                r_Producao.atualizarStatus(producao.getChave(), C_Status.EXPORTADO); // Atualiza status para exportado
                            }
                        }

                        // Atualiza o status de todas as produções da sequencia da posição atual
                        //r_Producao.atualizaStatusProducoesPorChaveSequencia(sequencia.getChave(), C_Status.EXPORTADO); 

                        seqAntiga = seqNova;

                        if (sequencia.getStatus().getStatus() != C_Status.EXPORTADO) {
                            r_Sequencia.atualizarStatus(sequencia.getChave(), C_Status.EXPORTADO); // Atualiza status para exportado
                        }
                    }
                }
            }
        } catch (Exception e) {
            U_Log.erro(TAG, e.toString());
            return e.toString();
        }
        return stringBuilder.toString();
    }

private String gerarSequencia(C_Sequencia seqAntiga, C_Sequencia seqNova) {
        StringBuilder sequenciaBuilder = new StringBuilder();
        String texto = sequenciaBuilder.append("01;")
                .append(String.format("%5d", seqNova.getCodColetor())).append(";")
                .append(U_DataHora.formatarData(seqNova.getData(), U_DataHora.DDMMYYYY_HHMMSS, U_DataHora.DDMMYYYY)).append(";")
                .append(String.format("%10d", seqNova.getCodFiscal())).append(";")
                .append(String.format("%10d", seqNova.getCodFiscal())).append(";")
                .append("\r\n").toString();

        if (seqAntiga != null) {
            if (!seqAntiga.getData().equals(seqNova.getData())
                    || !Objects.equals(seqAntiga.getCodColetor(), seqNova.getCodColetor())
                    || !Objects.equals(seqAntiga.getCodFiscal(), seqNova.getCodFiscal())) {

                return texto;

            } else {
                return "";
            }
        } else {
            return texto;
        }
    }

Result here

在这里，我评论了数据库中的更新

for (C_Sequencia sequencia : listSequencia) {
  ...
  for (C_Producao producao : listProducao) {
    ... 
    // update status in DB
    if (producao.getStatus().getStatus() != C_Status.EXPORTADO) {
      r_Producao.atualizarStatus(producao.getChave(), C_Status.EXPORTADO);
    }
  }
 // update status in DB
 if (sequencia.getStatus().getStatus() != C_Status.EXPORTADO) {
   r_Sequencia.atualizarStatus(sequencia.getChave(), C_Status.EXPORTADO); 
 }
}

结果：总时间9分钟

现在，我评论了我构建琴弦的部分

for (C_Sequencia sequencia : listSequencia) {
      ...
      // here build a part of the string in method " gerarSequencia "
      // i commented a part inside method " gerarSequencia "
      String retornoSequencia = gerarSequencia(seqAntiga, seqNova);
      ...

      for (C_Producao producao : listProducao) {
        ... 
        // Here i commented another part of the string
         ...
      }
 }

结果：总时间为14分钟- 实际上只运行更新行

Answer 1

我解决了我的问题。我改变了逻辑。实际的问题是在数据库中执行了许多SELECT，这使它非常慢。现在是单个SELECT。现在，总时间为 6秒。

Answer 2

private File writeRecords(String filenaam, List<String> records) throws IOException
{
    File file = new File(filenaam);
    try (FileOutputStream fos = new FileOutputStream(file); 
         PrintWriter writer = new PrintWriter(fos))
    {
        records.forEach(rec -> writer.println(rec));
        writer.flush();
    }
    return file;
}

如果要压缩文件：

private void compressFiles(String zipfile, List<File> files) throws IOException
{
    try (FileOutputStream fos = new FileOutputStream(zipfile);
            ZipOutputStream zos = new ZipOutputStream(new BufferedOutputStream(fos)))
    {
        for (File file : files)
        {
            ZipEntry entry = new ZipEntry(file.getName());
            byte[] bytes = Files.readAllBytes(Paths.get(file.getAbsolutePath()));
            zos.putNextEntry(entry);
            zos.write(bytes, 0, bytes.length);
            zos.closeEntry();
        }
        zos.finish();
        zos.flush();
    }
}

Answer 3

您有2个问题：

1-您实际上不是在写文件，而是返回一些大的String。我认为在内存中处理这么大的列表不是个好主意。

2-您如何进行更新？我猜问题是您在每一行都命中db。您应该立即考虑如何做。

Answer 4

此链接可能会帮助您解决性能问题，这可能不是文件写入问题，但据我所知是字符串操作问题。 What's the fastest way to concatenate two Strings in Java?

用Java将对象列表写入txt文件的最快方法

4 个答案: