我需要计算核心引擎主Oracle数据库中各种事务表的摘要数据。我计划把它写成一个多线程的Java程序,它将被安排为每个午夜运行的作业;程序将从数据库中的各种事务日志表中提取数据,并将结果计算并存储到单独的表中。日志表通常包含数百万个数据,其中一些表每天分区,一些表每月分区。
GUI(仪表板)平台将通过提供各种其他详细信息的单独Web服务请求这些信息。几乎所有项目中的模块都使用Spring框架,所以我想使用具有调度功能的Spring-Batch。在开始设计之前我开始进行一些研究,我发现了各种其他技术,如ETL工具,数据库本身的调度,实时数据分析和其他类似技术。
我在接近手中的问题了吗?我之前的做法是否合适?或者有一种方法,一个关于Java的框架,可以实时完成这个过程,比如在处理数据时(核心引擎正在处理数据),这样就不需要编写单独的工作了这个计算?