扩展水壶,并发问题

时间:2012-05-15 13:43:26

标签: java mysql database data-warehouse kettle

我假装扩展我的应用程序,并且该过程的某些部分包括由某些处理客户端同时运行水壶作业,在某些时候转换需要在某些共享表上执行组合查找(假设“clients_table”),此表增长很快由于所有可能的客户端都是未知的,所以它们被插入作为显示。在这个表上同时执行作业的组合查找(让我们说2但可能比每个客户端更多),它会出现并发问题,因为我在插入非现有客户端时会出现“重复输入密钥xxx”错误(当组合查找时没有在表中找到它们来检索它的id)。事实上,每次处理客户端执行水壶作业都会转移新客户,因此问题非常普遍。我想知道我是否打破了水壶的理念,或者我错过了什么,我读过关于制作水壶变换的事务,这可能是我的解决方案,因为我认为正在发生的事情是组合查找步骤不是事务性的吗? 给我一些想法。

PS:我正在使用Kettle 4.2和MySql 5.2

1 个答案:

答案 0 :(得分:0)

我最后通过为水壶做我自己的事务组合查找插件(带缓存管理),因为它使整个转换事务处理成本有多高。