Talend open studio仅在15k之间创建或修改记录

时间:2016-10-11 09:09:26

标签: talend

我在talend open studio工作,工作正常,它将tMSSqlinput连接到tMap然后tMysqlOutput,非常直接。我的问题是我需要每天运行这个工作,但只有在创建或修改新记录时才会运行...任何帮助都是高度肯定的!

2 个答案:

答案 0 :(得分:0)

您似乎正在搜索Change Data Capture Tool for Talend。 不幸的是,它仅适用于许可产品。

答案 1 :(得分:0)

为了满足您的需求,您可以采用多种方式。我想展示最受欢迎的那些。

来自Talend的CDC

正如Corentin所说,如果您使用订阅版本,您可以选择使用Talend的CDC(更改数据捕获)。

MSSQL的CDC

或者,您可以检查是否可以在MSSQL服务器中激活或使用CDC。这取决于您的许可证。如果可能,您可以使用该功能识别新元素并继续进行。

<强>触发器

您也可以在数据库上创建触发器(如果您有权访问它)。例如,为案例INSERT,UPDATE,DELETE创建触发器将帮助您获得增量。然后,您可以单独存储这些记录或其ID。

软件驱动/ API

如果您的数据库已连接到软件并且您有开发人员,则可以要求提供一项服务,该服务可识别插入/更新/删除的记录并向您显示。这可以通过例如完成。在REST界面中。

Delta via ID

如果主键是一个ID并且设置为自动增量,那么您还可以检查MySQL表中的最大数字,并且只选择源代码中具有比您已经拥有的更大ID的那些。这当然取决于数据库布局。