我们需要您对以下方案的建议:
我们的一个客户有8个postgres数据库服务器用作OLTP,现在想要生成集成服务器中所有数据的MIS报告/仪表板。 - 要生成大约100个报告 - 每个数据库都会添加大约5万行 - 报告每月生成一次 - 他们在裸机上运行所有设置 - 他们不想使用hadoop / spark,因为他们认为可维护性会更高 - 他们希望使用开源技术来完成这项任务
如上所述,一种方法是编写脚本以将聚合数据带入一个服务器 然后使用前端javascript手动编写报告代码。 是否有更好的方法使用ETL工具,如Talend,Pentaho等。 哪种ETL工具最适合这个? 任何ETL工具的社区版本都满足上述要求..?
我知道任何ETL工具的商业产品都不在预算范围内。
你可以告诉我你对此的看法。先谢谢 迪帕克
答案 0 :(得分:2)
当然可以。我生命中十几次成功地做了类似的事情。
我的建议是使用Pentaho-Data-Integrator(或Talend)在一个地方收集数据,然后过滤,聚合和格式化数据。只要您拥有一台体面的服务器,数据量就不是问题。
对于报告,我建议使用Pentaho-Report-Designer生成它们,以便通过邮件(使用Pentaho-DI)或使用Pentaho-BI服务器进行分发。
您也可以使用Pentaho-CDE制作javascript前端。
所有这些工具都是成熟,强大,易于使用,拥有社区版本并得到社区的充分支持。