阅读大文件弹簧启动的最佳方式

Question

我使用spring boot和angular来开发一个跟踪日志文件订单的应用程序（最高1GB）我愿意为你提供有关在春天阅读，处理和验证文件的最佳解决方案的建议，我只考虑过弹簧批，但还有其他强大的解决方案

Answer 1

经过深入研究后，我已经摒弃了各种解决方案，我认为这个链接是值得的：https://www.java-success.com/processing-large-files-efficiently-java-part-1/

Q3。有哪些不同的数据大小，以及可以使用哪些技术来处理它们？ A3。通常，数据大小可以分类如下。

1）小尺寸数据＆lt;多个文件中有10 GB。当您通过流处理它们以节省内存时，它适合单个机器的内存。可以使用Java的文件处理API，Apache commons File API，Spring批处理框架或Java EE 7批处理框架。

2）多个文件中的中等大小数据为10 GB到1 TB。适合单个机器的磁盘空间。通过拆分或流式处理它们，因为您将无法将所有内容读入内存。可以使用Spring批处理框架或Java EE 7批处理框架。

3）大数据是>多个文件中有1 TB。存储在多台计算机上并以分布式方式处理。例如。运行map reduce或Spark作业。