Kiba:"增量同步"表之间

时间:2016-01-09 22:54:38

标签: etl kiba-etl

我的目标是将条目从大表映射到较小的表,尊重基于GROUP BY语句的查询。我希望通过Kiba以增量方式同步它们,即不重写未更改的条目。

Kiba是否能够识别并运行最少量的INSERTS,UPDATES和DELETES以同步这两个表?

干杯!

1 个答案:

答案 0 :(得分:1)

Kiba作者在这里!今天Kiba本身并没有提供这种通用版本的内置机制,因为在现实生活中有很多不同的方法来实现这一点,这取决于你的需求和你的实际设置(是一切本地的,或者是处理的一部分)远程,需要处理多少数据,什么是堆栈等。)

这就是说今天使用Kiba非常非常普遍地实现了这种情况:这是一个普遍的需求,人们利用他们现有的知识和特定的数据存储功能来实现最好的方式,依赖于Kiba。

虽然今天有几点可以提供帮助:

  • 订阅我的blog,我将确保在将来分享两个商店之间简单“同步”的示例,包括代码等。
  • 即将推出的“Kiba Pro”产品将涵盖非常具体的实施(所以不一定适合所有人)。
  • Google找到合适模式的最佳关键词是“更改数据捕获”(请务必先read the wikipedia page
  • Ralph Kimball的书“数据仓库ETL工具包”虽然陈旧,却包含很多有关相关主题的有趣见解。
  • 大多数数据库(甚至最近,在PostgreSQL 9.5 UPSERT中)提供了有用的命令来合并,只更新改变后的内容等(MERGE等)

希望这有帮助!