我有一个用例。我想整合/转换来自不同/不同来源的数据而不存储它。数据源是数据库(oracle,db2等),Webservice(Rest / Soap),Flat文件(CSV,XML,JSON),MQ转储,大型机系统。我想从这些来源提取数据并进行某种智能转换和集成,并为我们的客户提供。它看起来像典型的ETL场景,但我的情况不同。我不被允许存储绝望来源提供的数据,这意味着,例如,我从oracle,soap和休息中提取数据,并在运行中进行所有智能转换和集成。
我浏览了谷歌和技术资料,但无法解决我的问题。
如果你们能帮助我就这个问题提供一些有价值的见解,并给出建议和可能的方法。
注意:这些来源的数据大小有时会非常大。
先谢谢
答案 0 :(得分:0)
看看htto://teiid.org
这正是它的作用,它是开源的。
答案 1 :(得分:0)
Talend Open Studio也是一个很好的解决方案,我正在使用它,并且使ETL工作流变得非常容易。
https://www.talend.com/products/data-integration/data-integration-manuals-release-notes/
您可以看到很多帮助视频:https://www.youtube.com/results?search_query=talend+studio