使用Pentaho将数据从SQL / Oracle迁移到Cassandra

Question

我想使用Pentaho将数据从Oracle / MySQL迁移到Cassandra。有没有人完成这项任务？

我想知道如何迁移数据的完整方式以及移动数据的先决条件是什么？

Answer 1

这在很大程度上取决于计划的数据重组水平。

如果您的目标只是更改基础DBMS，并且可以复制/粘贴表格，那么您将Wizard（菜单Tools）称为Copy Tables（复数），询问输入和输出连接并创建所需的所有内容（SQL创建脚本，每个表一个转换，执行转换集的一个作业）。

由于Cassandra不是SQL数据库，因此无法使用。但是，它会为您提供一个框架，您必须在其中用Output table替换所有Cassandra output，这样您只需单击CQL即可在插入行之前执行。

但这就是理论。不是因为技术性问题，而是因为这样的迁移需要更改数据模型，如果您对业务不是很熟悉则难以猜测。

因此，开始使用最少的外键迁移表，并向您的老板/客户询问反馈。然后移动到下一个表，依此类推。始终选择没有尚未移动的外键的表，并进行检查（记录计数）并向用户请求反馈。您很快就会被要求更改数据结构。

另请注意，如果Oracle / MySQL数据库正在生产中，则数据每天都会发生变化。因此，不要丢弃您的ETL，而是将它们包含在一个Job中，这样您只需点击一下即可重新加载新数据。