集成/转换来自不同/不同来源的数据而不存储它

时间:2017-09-23 10:30:00

标签: etl data-analysis data-integration data-stream data-virtualization

我有一个用例。我想整合/转换来自不同/不同来源的数据而不存储它。数据源是数据库(oracle,db2等),Webservice(Rest / Soap),Flat文件(CSV,XML,JSON),MQ转储,大型机系统。我想从这些来源提取数据并进行某种智能转换和集成,并为我们的客户提供。它看起来像典型的ETL场景,但我的情况不同。我不被允许存储绝望来源提供的数据,这意味着,例如,我从oracle,soap和休息中提取数据,并在运行中进行所有智能转换和集成。

我浏览了谷歌和技术资料,但无法解决我的问题。

如果你们能帮助我就这个问题提供一些有价值的见解,并给出建议和可能的方法。

注意:这些来源的数据大小有时会非常大。

先谢谢

2 个答案:

答案 0 :(得分:0)

看看htto://teiid.org

这正是它的作用,它是开源的。

答案 1 :(得分:0)

Talend Open Studio也是一个很好的解决方案,我正在使用它,并且使ETL工作流变得非常容易。

https://www.talend.com/products/data-integration/data-integration-manuals-release-notes/

您可以看到很多帮助视频:https://www.youtube.com/results?search_query=talend+studio