简单的ETL：Smooks或ETL产品

Question

我对这个问题相当新，并做了一些研究。 我有一个ESB（使用WSO2 ESB）并希望从传递的消息中提取主数据（如客户，订单等）并将它们存储在DB中以保留作为参考数据。源数据采用XML来自Web服务。 因此需要有一个能够维护主数据的组件：插入新对象，删除旧对象和更新更新（对于数据事件也很好，因此ESB可以相应地路由数据）。基本上，逻辑类似于任何实体类型，为所有新实体类型自动生成它可能是个好主意...

我现在看到的选项：

1. 将Smooks与SQLExecutor或Hibernate一起使用，以便在smooks配置或DAO注释中编写所有匹配逻辑的持久性
2. 使用一些开源ETL工具（如Talend，Kettle，Clover等）。因此，数据将传递给ETL，并在那里定义所有转换逻辑。也可以适应未来的情况，当它们出现或可能是一种矫枉过正的时候......

如果您分享您的想法并指出我正确的方向，我们将不胜感激。

Answer 1

您最好将数据库部分留给其他工具。

如果您的消息流中有相当数量的数据库交互，则可能会导致性能严重下降。

但是，您解释的用例不需要ETL。您可以使用WSO2 DSS通过创建服务来简单地在数据库中插入或更新数据。

我们一直在ESB旁边使用它来进行消息记录（在DB内部），并对此感到满意。最好在ESB中的消息流中将其用作非阻塞的即发即弃Web服务。希望这会有所帮助。