将Excel文件上传到数据库,并通过剩余调用执行操作

时间:2019-02-10 18:29:24

标签: java spring postgresql parallel-processing openstack

我正面临时间复杂性的问题,并且正在寻找将excel文件记录上传到数据库的最佳方法。

我使用的当前技术

  • Java(春季启动休眠)。
  • PostgreSQL数据库。

我使用的当前实现

  1. 使用apache poi依赖项将文件(行)转换为对象列表
  2. 验证列数据类型
  3. 列出要保存到数据库中的pojo,即 repository.saveAll(list_of_pojo)

问题

30,000行示例

  1. 在Java中,我们将迭代30,000条记录以验证列。
  2. 它具有超过 80列
  3. 插入数据库需要太多时间。休眠 saveAll()方法执行仅花费25分钟以上。

系统规格

16 GB RAM,1 TB硬盘。

最大的问题是,当excel文件具有成千上万或数百万行时,它看起来无穷无尽。

在这段时间里我该如何克服。我是否应该使用其他一些技术。我听说过 scala和Hadoop技术,但是我不知道如何使用它解决问题。

请为此提供解决方案,以便更快地得到结果。

0 个答案:

没有答案