一种分析和计算日常Oracle数据的方法

时间:2015-07-21 11:00:30

标签: java spring-batch etl

我需要计算核心引擎主Oracle数据库中各种事务表的摘要数据。我计划把它写成一个多线程的Java程序,它将被安排为每个午夜运行的作业;程序将从数据库中的各种事务日志表中提取数据,并将结果计算并存储到单独的表中。日志表通常包含数百万个数据,其中一些表每天分区,一些表每月分区。

GUI(仪表板)平台将通过提供各种其他详细信息的单独Web服务请求这些信息。几乎所有项目中的模块都使用Spring框架,所以我想使用具有调度功能的Spring-Batch。在开始设计之前我开始进行一些研究,我发现了各种其他技术,如ETL工具,数据库本身的调度,实时数据分析和其他类似技术。

我在接近手中的问题了吗?我之前的做法是否合适?或者有一种方法,一个关于Java的框架,可以实时完成这个过程,比如在处理数据时(核心引擎正在处理数据),这样就不需要编写单独的工作了这个计算?

1 个答案:

答案 0 :(得分:1)

您可以查看Spring XD这是一个处理大量数据的引擎。

Spring XD提供了很多读者(jdbc,文件,jms),处理器和编写器(jdbc,文件,jms),您可以轻松编写自己的读者,编写器和处理器。

Spring XD使用Unix样式的源,管道,接收器来连接多个处理器。您可以看到这个post,以获取Spring XD与大量Twitter数据应用的一个小例子。